Bad Decisions Made Faster: How Qualitative Security Risk Assessments Are Making Things Worse

Derek Brink har skrevet et blogginnlegg for RSA hvor han hevder at kvalitative risikoanalyser fører til dårlige beslutninger.

https://blogs.rsa.com/bad-decisions-made-faster-qualitative-security-risk-assessments-making-things-worse/?utm_source=rss&utm_medium=rss&utm_campaign=bad-decisions-made-faster-qualitative-security-risk-assessments-making-things-worse

Argumentet er at man konstruerer risikomatriser (ja, du har sikkert sett disse 5x5 matrisene med grønne, gule og røde felter) som danner grunnlaget for beslutninger. Nivåene for risiko er som regel av typen "lav, medium,høy".

Vi må først se på det sistnevnte. Det finnes flere typer skalaer, og hvilken du bruker, og ikke minst hvordan du bruker de, har stor betydning.

Nominell skala: Dette er en kvalitativ skala som kan brukes til å skille ulike typer forekomster fra hverandre. "Orange, Brun, Sort". En kan ikke si at Orange er mer, mindre, bedre eller dårligere enn brun. De er bare forskjellige. Innen cyber defence kan denne skalaen brukes til å opprette ulike typer/klasser av angrep. "Mail-baserte angrep" og "Web-baserte angrep" for å si det enkelt.

Ordinal skala: Dette er en kvalitativ skala som kan brukes til å ordne forekomster i forhold til hverandre. "Low, medium, high". Low er mindre enn medium, som er mindre enn high. En kan ikke fastsette avstand mellom nivåene (medium kan være dobbelt så mye som low, men high kan være fire ganger så mye som medium). Det betyr at man feks ikke kan beregne standardavvik. Dette er svært viktig å merke seg.

Interval skala: Dette er en kvantitativ skala hvor man kan bruke aritmetiske metoder for analyse og beregning. Celcius temperaturskala er et eksempel på en slik skala. En kan ikke beregne ratio for forekomster i en slik skala. (En risiko med 50 poeng, er ikke nødvendigvis dobbelt så høy som en med 25 poeng)

Ratio skala: Dette er en kvantitativ skala hvor ratio mellom forekomster kan beregnes. En slik skala har et definert nullpunkt, slik at ratio for forekomster kan beregner i forhold til dette. Kelvin temperaturskala er et eksempel på dette.

Brink har jo rett i at en ordinal skala er kvalitativ, men som jeg har skrevet om i denne bloggen tidligere så er ikke problemet skalaen i seg selv, men hvordan den brukes. Når man tvinges til å bruke aritmetiske metoder (verktøy og algoritmer) så blir det som regel slik at man tilordner verdier (poeng) til nivåene i skalaen, slik at man kan gjøre kalkulasjoner. Dette er en grov feil som må unngås for enhver pris. Som jeg har skrevet om tidligere, dette skyldes at metodene fra et helt annet område (quality management) brukes for cyber defence/cybersikkerhet der vi står over for en motstander med intensjon og evne, ikke tilfeldige feil i en produksjonsprosess.

Det er ikke uvanlig å se ordinal skalaen i bruk i ekte kvalitative risikovurderinger, og jeg mener bestemt at det er nyttig å bruke en slik skala der. I slike risikovurderinger faller man ikke for fristelsen til å poengsette nivåene og å dytte dem inn i de meningsløse 5x5 matrisene.