Viser innlegg med etiketten FFI. Vis alle innlegg
Viser innlegg med etiketten FFI. Vis alle innlegg

onsdag 1. juli 2015

Sannsynlighetsberegning - et uungåelig onde?

Jeg har tidligere skrevet om risikohåndtering som en del av cybersikkerhet (1,2), og er blant dem som mener at å beregne sannsynlighet for visse typer cyberangrep ikke bare er meningløst, det er direkte farlig.

Jeg fikk dessverre ikke anledning til å overvære FFIs fremleggelse av sin rapport "Tilnærminger til risikoanalyse for tilsiktede uønskede handlinger", men jeg har diskutert dette tema med flere av forskerne ved FFI. Jeg har selv brukt både kvantitative og kvalitative metoder for risikovurderinger, og kjenner godt til hva det innebærer å bruke sannsynlighetsvurderinger i det arbeidet.

Det var derfor med interesse at jeg leste Lillian Røstads (Difi) innlegg om dette på digi.no (3). Jeg er imidlertid ikke enig i alt hun skriver, og denne blogposten skal forklare hvorfor. Kort merknad til hvorfor jeg svarer her, og ikke i kommentarfeltet på digi.no: Jeg ønsker å samle denne type argumentasjon på ett sted for fremtidig bruk, samt at jeg kan legge til figurer her.

Først til det vi er enige om. 
Begrepsbruken innen cybersikkerhet er preget både av at språket vårt er fattig i forhold til engelsk, og at ord or uttrykk ikke har et meningsinnhold som alle er enige om. Et klassisk eksempel er hvordan enkelte blander sammen begrepene trussel og sårbarhet. En skulle tro at så sentrale begreper ble brukt riktig, men det gjøre de ikke. Sannsynlighet er et annet slikt begrep som dessverre blir tillagt ulikt meningsinnhold av ulike mennesker og miljøer. 

Matematisk sannsynlighet og statistikk en én type sannsynlighetsberegning som brukes innen cybersikkerhet. Det kan enten være for å angi hvor hyppig en hendelse forekommer, eller hvor stor sannsynlighet det er for at den skal oppstå én gang. Denne type sannsynlighetsberegning er en del av de kvantitative metodene som gjerne også inkluderer beregninger for hvor mange hendelser en kan tåle før kostnadene blir for store, hvor dyre mottiltakene kan være osv. Det var flere presentasjoner på RSA 2015 som viste at disse metodene blir brukt innen finans og forsikringsbransjen. 

En annen type sannsynlighetsangivelse er de subjektive. Ekspertene vurderer subjektivt hvor sannsynlig det er at noe skal skje, og tilordner en verdi. Høy sannsynlighet.  75%. Tallverdi 4 (av 5). Fargen Gul. Disse verdiene er ofte basert på ekspertens gut-feeling, og jeg har vanskelig for å tro at de er særlig treffsikre for fremtiden. Dette gjelder spesielt for det FFI sin rapport omhandler, nemlig tilsiktede uønskede handliger. Å bruke fortidens erfaringer til å spå om fremtiden, er en dårlig idé om man skal tro Nassim Nicholas Taleb i sin bok om "low probability, high impact events" (4). Spesielt når det er snakk om målrettede angrep i komplekse adaptive systemer. Og det er det jo. 

Vi må rydde opp i begrepsbruken, der er vi helt enige.

På engelsk skiller man mellom probable (sannsynlig) og likely (trolig/mulig). Selv om det ikke alltid er klokt å innføre nye begreper i et allerede "begrepsforvirret" område, tror jeg at vi ville ha nytte av å skille tydeligere på dette på norsk.

En annen ting vi er enige om er at cybersikkerhet ikke må eksistere på "sin egen planet". Hvis cybersikkerhet ikke blir integrert i virksomheten, så feiler de ansvarlige. En virksomhet har mange typer risiki, og risiko i mot den delen av virksomheten som skjer ved hjelp av IKT kan selvfølgelig ikke adskilles fra virksomhetens totale risikostyring. Dette er ekstremt viktig fordi tilsynelatende riktige og viktige cybersikkerhetstiltak kan direkte motvirke virksomhetens behov på andre områder. De fleste som driver profesjonelt med cybersikkerhet vet dette. 

... men så blir vi uenige
Når Røstad beskriver risikotrekanten Verdi, Trussel, Sårbarhet, spør hun om ikke det bare er en annen måte å angi sannsynlighet på. Jeg mener at det ikke er det.

Allerede i 2003 innså det fremste informasjonssikkerhetsmiljøet i Forsvaret at den tradisjonelle (kvantitative) metoden for risikoanalyser ikke var egnet for å beskrive den reelle risikoen mot de IKT-løsningene som blir brukt i militære opersjoner. En ROS-analyse med risikokvadranter og det hele var et klassisk eksempel på at subjektive (sannsynlighets) vurderinger ble dyttet inn i en beregningsmodell som var laget for et helt annet formål. Resultatene kunne ikke brukes inn i de øvrige risikovurderingene, og sjefene forsto ikke det som ble forsøkt formidlet. Informasjonssikkerheten levde på sin egen planet.

Da vi startet opp med å vurdere risiko etter den nye metoden, lykkes vi med å formidle risiko til ledelsen slik at de kunne vurdere denne risikoen opp mot øvrige risiki mot sin avdeling og sitt oppdrag. Tiltakene kunne vurderes opp mot den operative konteksten, og han fikk økt sitt handlingsrom ved å kunne velge tiltak som normalt ligger utenfor området "cybersikkerhet". 



Jeg velger å fremstille risikotrekanten som overlappende sirkler. Den eneste reelle risiko er i skjæringspunktet mellom verdi, trussel og sårbarhet. Hvordan bruker vi denne metoden?

Verdivurdering
En slik risikovurdering begynner alltid med verdivurderingen. Denne gjennomføres sammen med lederen for virksomheten, eller en som har inngående kjennskap til virksomheten. Vi gjennomfører et halvveis strukturert intervju, der vi stiller spørsmål som: Hva er formålet med denne virksomheten? Hva er oppdraget? Hvilke ressurser/enheter har du for å løse oppdraget? Hvem er dine overordnede? Hvilket konsept for ledelse har de overfor deg? Hvilket konsept for ledelse har du overfor dine underlagte enheter? Mot slutten av intervjuet kommer vi inn på spøsmål som: Hvilken informasjon er du avhengig av for å ta beslutninger? Hvilken informasjon er det kritisk av du får formidlet til dine underlagte enheter? Hvilke systemer er bærer/behandler for denne informasjonen? Hva vil skje med opdraget dersom noen slår ut eller manipulerer de mest kritiske IT systemene?

Denne samtalen er viktig av flere grunner. For det første må risikoanalytikeren forstå virksomheten han skal vurdere. Det er ikke nok at han kjenner det tekniske godt, han må også vite hva formålet med virksomheten er og hvilke kortsiktige og langsiktige mål den har. Dette er viktig både for risikofastsettelsen og for å vurdere hvilke tiltak som er hensiktsmessige.

For det andre skaper denne samtalen er felles forståelse for hva som er det mest viktige, og hva konsekvensene kan være dersom noen angriper de kritiske IT systemene.
Samtalen er også grunnlaget for å utarbeide det kritiske informasjonsbehovet i forkant av sårbarhetsvurderingen.

Sårbarhetsvurdering
Så langt det er mulig gjør vi tekniske målinger eller penetrasjonstestinger. Generelt vil vi vite om den kritiske IT-løsningen inneholder de komponenter, tjenester og systemer det skal, eller om noen har plassert inn noe som ikke skal være der. Dernest vil vi vite om det som verdivurderingen har fastsatt som kritisk har sårbarheter. I Forsvaret måler man både tradisjonelle sårbarheter i IT løsningene, og muligheten for tap av informasjon gjennom elektromagnetisk stråling.

Et vesentlig poeng med sårbarhetsvurderingen er at det skal være faktiske målinger, ikke antakelser. Jeg har sett risikorapporter som inneholder vurderinger som "... virksomheten er avhengig av sin webserver, og slike er gjerne preget av feil som kan muliggjøre angrep mot serveren". Dette er nærmest verdiløse utsagn. Vi ønsker å vite helt konkret om webserveren har sårbarheter, hvilke det er, hvordan de utnyttes og hva de kan utnyttes til. Om en sårbarhet krever fysisk tilstedeværelse på webserveren, er selvsagt ikke en aktivistgruppe i Iran i stand til å utnytte den selv om de kan være en uttalt motstander av virksomheten.

En del av sårbarhetsvurderingen er hvor enkelt det er å utnytte den.  Dette kan også brukes til å vurdere hvilke trusler en skal bry seg om. Dersom utnyttelse av en sårbarhet krever svært dyrt utstyr eller høyt kompetanse og treningsnivå, så kan vi utelukke en del trusler. 

Trusselvurdering
Er det slik at dette bare er en annen måte å vurdere sannsynlighet? Nei, absolutt ikke.
Husk at malware ikke er en trussel. Heartbleed er ikke en trussel. En falsk epost som forsøker å lure deg til å oppgi DnB påloggingsinformasjonen er ikke en trussel.

En trussel er en person, gruppe, organisasjon, virksomhet eller nasjon som har vilje og evne til å angripe eller påvirke deg eller din virksomhet. Vi vil vite hvem denne gruppen er. Hvilke metoder de bruker. Hva deres intensjon er. Hvilke verktøy de bruker. Hva deres handlingsmønster er. Hvordan de vil reagere dersom vi iverksetter mottiltak osv. Dette er ikke noe annet enn det man gjør for annen type etterretningsinnhenting. For Forsvaret betyr det at denne type trusler blir beskrevet og behandlet på akkurat samme måte som øvrige trusler. Noen ganger er det jo faktisk de samme truslene som bruker ulike virkemidler for å oppnå sine mål.

Etterretningskildene kan være mange. I tillegg til det ens egen cyberhåndteringsenhet bygger opp av kunnskap om truslene, finnes det mange andre klilder. I Norge er det mange som får informasjon fra EOS-tjenestene. Flere store virksomheter, i tillegg til Forsvaret, har fokus på egne etterretninger om aktuelle trusler. I tillegg kan slik informasjon kjøpes fra stadig flere tilbydere av "threat intelligence". Her skal man imidlertid være litt på vakt. Noen ytterst få leverer etterretningsprodukter som kan sammenlignes med vanlig etterretning, men de fleste tilbydere av "threat intelligence" leverer teknisk informasjon om verktøy og metoder som truslene bruker. Det er ikke det samme.

Trusselbildet er i kontinuerlig endring. Nye trusler kan oppstå, og eksisterende trusler kan utvikle sine metoder over tid. For håndtering av målrettede angrep vil imidlertid fokus på et oppdatert trusselbilde være til svært stor hjelp når risiko skal fastsettes og til å håndtere hendelser når de skjer.
En systematisk tilnærming slik f.eks. Andrew Jones (QinetiQ) beskriver kan være til stor hjelp.

Risiko
Risikofastsettelsen skjer når vi vurderer de konkrete sårbarhetene vi har avdekket opp mot det vi vet om truslene, primært for de mest kritiske IT løsningene. Vi er selvsagt ikke naive. En sårbarhet kan enkelte ganger være så alvorlig i seg selv, at den skal håndteres selv om vi ikke er kjent med en trussel som har intensjon og evne til å utnytte den. På samme måte kan vi stå over for en trussel som vi vet har intensjon og evne, men der vi vet for lite om deres metoder. 

Denne tilnærmingen fjerner behovet for å gjette og vi snakker samme språk i cybersikkerhet som i virksomheten forøvrig. Trusler og risiko blir vurdert mer helhetlig, og tiltakene kan vurderes i en operativ kontekst. 

Risiko ved tilsiktede hendelser
Dette er de målrettede angrepene, de som skjer når virksomheten din står i en konfliktsituasjon med en trussel som har både evne og vilje til å gjennomføre cyberangrep. 

Forsvaret har tidligere fortalt om målrettede angrep der trusselaktøren gjennomførte delvis vellykkede angrep. Motstanderne det er snakk om har cybervirkemidler som en liten del av sitt repertoar. Angrepene ble oppdaget gjennom etterretninger, og håndteringen ble gjennomført som en del av den "normale" virksomheten.

For kort tid siden ble et målrettet angrep avverget før det fant sted som en direkte følge av etterretninger. Et hvert forsøk på å skulle kvantifsere en sannsynlighet for de hendelsene i forkant fremstår som en helt meningsløs oppgave. 

De samme erfaringene har andre store norske virksomheter gjort. En av dem er Telenor, som gikk ut med informasjon om de hendelsene de var utsatt for i forbindelse med virksomheten i India. Hva skulle den subjektive sannsynligheten for de angrepene vært anslått til? 75% Medium? Rød?

For tilsiktede uønskede hendelser vil tradisjonell risikovurdering basert på subjektive sannsynlighetsberegninger være en katastrofe. De er unøyaktige og villedende og vil enten føre til at trusler blir underkommunisert, eller at de blir overkommunisert og at unødvendige tiltak forhindrer at virksomheten når sine mål. 

Avslutningsvis vil jeg medgi at kvantitative metoder og matematiske sannsynligheter kan ha noe for seg i visse sammenhenger. For en gitt malware kan de hende at du har nok empiri til å kunne beregne hvor stor sannsynlighet det er for at du vil bli forsøkt rammet. Om du kjenner spredningsmekansmen trenger du kanskje ikke empiri heller, dersom du kan analysere spredningsmekanismen i forhold til ditt digitale fotavtrykk. Dette gjelder imidlertid kun for hendelser som rammer tilfeldig, ikke for målrettede angrep.

onsdag 27. november 2013

FFI Forum - Cybermakt

Jeg prøver å holde tungen rett i munnen når jeg skriver denne bloggen fordi jeg ikke er ansatt i Cyberforsvaret til å uttale meg på vegne av organinasjonen. Noen ganger kan det være vanskelig å trekke en klar grense for når jeg uttaler meg som fagperson, og når jeg taler arbeidsgivers sak. Dette er en av de gangene.

Cyberforsvaret har bestillt "Cybermakt-studien" fra FFI, og jeg var sendt til FFI Forum 26 november for å gi Cyberforsvarets kommentarer til FFIs presentasjon av studien. Interessen for FFI Forum var stor denne gangen, med ca 120 påmeldte. I salen var også media, men jeg har ikke sett saken gjengitt i avisene.

(Foto: FFI)

FFI har lagt ut en sak om presentasjonen her:

Hva cybermakt kan bety

Den første Cybermakt-rapporten er gradert, så jeg vil ikke gå inn i detaljene i denne. Det vi fikk presentert fra FFI var en slags oppsummering av hvilke egenskaper cyberdomenet har, og hva dette betyr for militær maktanvendelse i dette domenet. Cyberforsvaret har støttet inneholdet i rapporten, og mener at det er svært viktig med en grundig forskningbase for doktrineutvikling og utvikling av militære kapabiliteter.
Som jeg sa under FFI Forum så tror vi at utviklingen i både cyberdomenet og måten vi tenker rundt militærmakt i domenet vil endre seg. Trolig mer enn vi er i stand til å forutse nå. Det er vanlig å sammenligne cyberdomenets rolle nå, med slik luftdomenets rolle var for 100 år siden. Den gang var det ingen som kunne forutse hvordan luftmakt anno 2013 ville fortone seg. Det er ikke urimelig å mene at f.eks. politiske eller teknologiske endringer kan få betydning for bruk av militærmakt i dette domenet.

Jeg har lyst til å kommentere noen påstander fra presentasjonen. Under overskriften "Hva er Forsvarets rolle?" ble det hevdet at Forsvaret i liten grad kunne rykke ut for å overta drifts-oppgavene til aktørene som eier og drifter nasjonal kritisk infrastruktur. Dette er selvfølgelig helt riktig, og det er heller ingen som har påstått av Forsvaret kan eller vil gjøre det. I andre land vurderer man "cyber-reservister", personell som i en nasjonal krisesituasjon underlegges militær ledelse, men  som fortsetter i den jobben de har. f.eks. som driftsansvarlig eller sikkerhetsekspert i en eier av kritisk infrastruktur. Anders Werp fra Høyre nevnte dette som en mulighet også her, uten at det er tatt noen beslutning på dette.

FFI satte det på spissen og mente at vi ikke kan sammenligne den bistand som Forsvaret gir på andre områder, med den bistand som Forsvaret kan gi i cyber-kriser. "Et helikopter er et helikopter, og flyr personell eller materiell fra A til B. Cyberkapabiliteter er mer spesialiserte". Om analogien er god eller ikke kan sikkert diskuteres, alle helikoptere kan ikke nødvendigvis brukes til alle formål. Og slik er det jo med cyberkapabiliteter også. Forsvarets kapabiliteter er dimensjonert og tilpasset Forsvarets behov, og de skal primært brukes til å beskytte Forsvarets egne datanettverk og informasjonssystemer mot cyberangrep (vi kaller det helst cyberhendelser.. et angrep er noe langt mer alvorlig i vår terminologi).

Men; I en nasjonal krise er det mulig for sivile myndigheter å bruke disse kapabilitetene. Kapabilitetene er mobile, og kan brukes over hele landet. Det er åpenbart både tekniske og andre begrensninger for når og hvor de kan settes inn, men det vil i så fall være en vurdering i den situasjonen man er i.

Såvidt jeg vet er det kun Forsvaret som har slike kapabiliteter i Norge. Vi vet at andre nasjoner ikke har slike kapabiliteter, og NATO har først nylig etablert en tilsvarende evne. Men fungerer det? Her er noen av de erfaringene jeg har gjort meg gjennom de siste ti årene:


  • De har vært brukt med stor suksess i Forsvarets egne nettverk i både inn og utland
  • De har vært brukt med stor suksess i sivile aktørers nettverk under øvelser
  • Konseptet med mobile kapasiteter ble f.eks. brukt under øvelse Locked Shields 2012, hvor cyber defence laget som vant satte inn medbrakt utstyr som satte dem i stand til å håndtere situasjonen. Dette var utstyr som ble satt inn i et nettverk som var ukjent for dem inntil like før øvelsen startet. 
  • Det krever mye øving og trening for å mestre dette, og trolig også for å forstå muligheter, begrensninger og betydningen av å være i stand til å gjøre dette.
I tillegg til slike cyber defence kapabiliteter, har Forsvaret også (selvfølgelig) kapabiliteter for å etablere, forlenge, forsterke og endre "cyberspace" iht. våre operative behov. 


NSM har i sin blogg fokusert på begrensningene for slike kapabiliteter, og det synes jeg er synd ettersom de som koordineringsansvarlig for alvorlige cyberangrep burde ha satt seg mer inn i hvilke muligheter Forsvarets kapabiliteter kan gi. Jeg synes også det er litt rart, siden NSM også har vært med Forsvaret på øvelser både nasjonalt og i NATO, og selv observert disse i bruk.

NSM sitt blogginnlegg er her:
Lite sannsynlig med cyberkrig og -terror

I forkant av konferansen ble jeg bedt om å svare på noen spørsmål som kunne komme opp i paneldebatten. Disse ble ikke tatt opp spesifikt, men jeg deler dem gjerne her:

Hva er den største utfordringen i cyberdomenet?
Håndteringsevnen for alvorlige og sektorovergripende hendelser. Det er uavklarte spørsmål i grensegangen mellom håndtering av samfunnssikkerhet og statssikkerhet. Hvor alvorlig skal en hendelse være for at Forsvaret skal overta håndteringen, eller støtte sivil sektor i håndteringen? Vi mangler en nasjonal strategi som adresserer dette.
Sektorprinsippet vs prinsippet om samhandling. Her har vi ikke kommet spesielt langt.

Hvordan kan og bør Forsvaret bistå cybersikkerheten i det sivile samfunnet under kriser? 
Forsvaret har kapabiliteter som kan settes inn for å støtte sivile myndigheter under kriser. Forutsetter da at det er snakk om normal bistand. Dette kan være cyber defence kapabiliteter hvor vi kan deployere personell og utstyr som kan bistå i håndtering av slike hendelser, eller det kan være andre mobile ressurser som kan brukes til å etablere, tilpasse og utvide cyberdomenet i en slik situasjon.
For statssikkerhetstruende hendelser, må Forsvaret være i stand til å overta ledelsen av håndteringen av slike cyberkriser.

Kan Norge alene løse kompetansemangelen rundt cybersikkerhet?
Vi ser en satsning på forskning innen dette feltet, der flere av de store aktørene for eksempel støtter forskningssenteret på Gjøvik. NORSIS har i mange år gjort en god jobb med å heve den generelle forståelsen, og det er flere utdanningsløp spesifikt for informasjonssikkerhet. I Forsvaret har sin Forsvarets ingeniørhøgskole, som utdanner ingeniører og ledere i hele bredden av defensive cyberoperasjoner. Personell som er utdannet ved FIH er svært ettertraktet i sivil sektor, og styrker en rekke leverandører av sikkerhetstjenester og "CERT-funksjoner" i en rekke virksomheter.

En kan nok hevde at vi ikke utdanner tilstrekkelig til å møte behovene, men en kan samtidig spørre om vi er organisert på den mest hensiktsmessige måten. Å etablere en enhet som har evne til å håndtere alvorlige cyberangrep mot virksomheten er svært ressurskrevende. Dersom alle virksomheter skal ha sine egne håndteringsenheter, er vi ikke i nærheten av å utdanne nok personell av denne typen.

Avslutningsvis vil jeg si at Anders Werp nevnte at regjeringen har som intensjon å styrke justissektoren med tanke på å kunne håndtere alvorlige cyberangrep/kriminalitet. For meg virker det fornuftig, og det er i så fall en videreføring av det som ble påbegynt i den nasjonale strategien for informasjonssikkerhet som vi fikk for et år siden. Les mine kommentarer fra den gang her: