1.5.5.1 Sjældne begivenheder
Når man beskæftiger sig med voldskriminalitet og andre mønstre af dårlig adfærd som f.eks. terrorisme, er det en meget god ting for næsten alle, undtagen analytikerne, at det er en relativt sjælden begivenhed. Jo mindre stikprøvestørrelsen generelt er, jo lettere er det at begå fejl. Disse fejl kan opstå af en række forskellige årsager, hvoraf nogle af dem vil blive diskuteret nærmere i kapitel 5. Ved modellering kan sjældne begivenheder skabe problemer, især når de er forbundet med groft ulige stikprøvefordelinger.
Ved analysen af røverirelaterede grove overfald fandt vi, at meget få væbnede røverier eskalerer til et groft overfald.3 Faktisk fandt vi, at mindre end 5 % af alle væbnede røverier eskalerede til et groft overfald. Igen er dette en meget god ting set ud fra et synspunkt om offentlig sikkerhed, selv om det udgør en betydelig udfordring for udviklingen af forudsigelsesmodeller, hvis analytikeren ikke er forsigtig.
Udforsker man dette mere detaljeret, bliver det tydeligt, at der kan oprettes en meget enkel model, som har en nøjagtighed på over 95 %. Med andre ord kunne denne enkle model korrekt forudsige eskaleringen af et væbnet røveri til et groft overfald i 95 % af tilfældene. Ved første øjekast lyder det fænomenalt. Med en så nøjagtig model ville det virke som en simpel ting at anvende den proaktivt og udrydde voldskriminalitet inden for en uge. Når vi undersøger modellen nærmere, finder vi imidlertid en kritisk fejl: Der er kun én beslutningsregel, og den er “nej”. Ved at forudsige, at et væbnet røveri aldrig vil eskalere til et groft overfald, ville modellen være korrekt i 95 % af tilfældene, men den ville ikke være særlig nyttig. Det, vi i virkeligheden er på udkig efter, er nogle beslutningsregler vedrørende røverirelaterede grove overfald, som vil gøre det muligt for os at karakterisere og modellere dem. Derefter kan vi udvikle proaktive strategier, som vil gøre det muligt at forhindre, at de opstår i fremtiden. Som dette noget ekstreme eksempel viser, er evaluering af en models effektivitet og værdi langt mere end blot at bestemme dens generelle nøjagtighed. Det er ekstremt vigtigt at identificere arten af fejlene og derefter afgøre, hvilke typer fejl der er acceptable, og hvilke der ikke er det.
Et andet eksempel på sjældne begivenheder vedrører piratangreb, som har været forbundet med flere højt profilerede hændelser, herunder angrebet på Maersk Alabama.4 For at sætte tallene i perspektiv kan man dog sige, at på tidspunktet for denne særlige hændelse rapporterede den amerikanske 5. flåde i Bahrain, at der i alt var 122 angreb på skibe, der passerede gennem Adenbugten.5 Af disse angreb var 42 “vellykkede” set fra piraternes perspektiv, hvilket resulterede i en “succesrate” for piraterne på 34 %. For at skabe yderligere sammenhæng kan det dog nævnes, at ca. 33 000 fartøjer passerede gennem 2008 uden hændelser. Mindre end 1/2-1 % af alle disse fartøjer blev angrebet, enten med eller uden held. Igen kunne vi udvikle en model, der ville sige, at et fartøj sikkert foretager passage gennem Adenbugten, og som ville være korrekt i mere end 99 % af tilfældene; dette ville imidlertid ikke have nogen værdi for forbedringen af den maritime sikkerhed i regionen.
En måde at evaluere fejlenes specifikke karakter på er at skabe noget, der kaldes en forvirrings- eller tillidsmatrix. Det gør det ved at opdele og afbilde fejlenes specifikke karakter og deres bidrag til modellens samlede nøjagtighed. Når det er blevet fastslået, hvor fejlene forekommer, og om de har en væsentlig indvirkning på værdien af den samlede fejlprocent og model, kan der træffes en informeret beslutning om accept af modellen. Forvirringsmatricer vil blive behandlet mere detaljeret i kapitel 8, som omhandler trænings- og testprøver.
Forvirringsmatricen er et vigtigt eksempel på en god praksis inden for analyse. Det kan være yderst værdifuldt at udfordre resultaterne, skubbe lidt rundt på dem analytisk og se, hvad der sker, eller se på dem i et andet analytisk lys. Igen giver forvirringsmatrixen analytikerne mulighed for at bore ned og undersøge, hvad der bidrager til modellens overordnede nøjagtighed. Derefter kan de træffe en informeret beslutning om, hvorvidt de skal acceptere modellen eller fortsætte med at arbejde på den, indtil fejlene er fordelt på en måde, der giver mening i lyset af det overordnede mål for den offentlige sikkerhed eller efterretning. Selv om denne proces kan virke lidt uklar på dette tidspunkt, understreger den vigtigheden af at vælge analytikere med domæneekspertise. Personer, der ved, hvor dataene kommer fra, og hvad de i sidste ende skal bruges til, kan skelne mellem de fejl, der er acceptable, og dem, der ikke er det. En person, der ved en masse om statistisk analyse, kan måske skabe ekstremt elegante og meget forudsigelige modeller, men hvis modellen konsekvent forudsiger, at et væbnet røveri aldrig vil eskalere til et groft overfald, fordi analytikeren ikke vidste, at disse hændelser er relativt sjældne, kan det få alvorlige konsekvenser. Selv om dette kan virke som et ekstremt eksempel, der ville være helt indlysende for næsten alle, forekommer der regelmæssigt langt mere subtile problemer, som kan have lignende skadelige konsekvenser. Den ultimative konsekvens af dette problem er, at folk inden for det offentlige sikkerhedssamfund er i den bedste position til at analysere deres egne data. Dermed ikke sagt, at det er forkert at søge ekstern analytisk bistand, men det kan få alvorlige konsekvenser at udskyde dette ansvar fuldstændigt, hvilket synes at ske med stigende hyppighed, på grund af den subtile karakter af mange af disse spørgsmål, der gennemsyrer analyseprocessen. Dette punkt understreger også vigtigheden af at samarbejde med det operationelle personale, som er de endelige slutbrugere af de fleste analyseprodukter, under hele analyseprocessen. Selv om de måske er noget begrænsede med hensyn til deres viden om og forståelse af den pågældende software eller algoritme, kan deres indsigt og opfattelse med hensyn til de endelige operationelle mål i høj grad forbedre beslutningsprocessen, når der skal tages stilling til spørgsmål om cost/benefit og fejlhåndtering.
Givet arten af kriminalitets- og efterretningsanalyser er det ikke usædvanligt at støde på sjældne begivenheder og ujævne fordelinger. Desværre skaber mange standardindstillinger på data mining- og statistisk software automatisk beslutningstræer eller regelsæt, der er forprogrammeret til at fordele sagerne jævnt. Dette kan være et stort problem, når man har at gøre med sjældne hændelser eller på anden måde ulige fordelinger. En anden måde at sige dette på er, at programmet antager, at de forudgående sandsynligheder eller “priors” er 50:50 eller et andet ligeligt fordelt forhold. Generelt er der en måde at nulstille dette på, enten automatisk eller manuelt. I automatiske indstillinger er muligheden generelt at indstille de forudsagte eller forventede sandsynligheder til at stemme overens med de prioriterede eller observerede frekvenser i prøven. I dette tilfælde beregner softwaren den observerede frekvens af en bestemt hændelse eller forekomst i prøvedataene og bruger derefter denne frekvens til at generere en model, der resulterer i en lignende forudsagt frekvens. I nogle situationer kan det imidlertid være en fordel at indstille prioriteterne manuelt. Når man f.eks. forsøger at styre risikoen eller reducere omkostningerne ved en særlig alvorlig fejl, kan det f.eks. være nødvendigt at skabe en model, der enten er overdrevent generøs eller meget streng, afhængigt af det ønskede resultat og arten af fejlklassifikationsfejl. Nogle softwareprogrammer tilbyder lignende former for fejlstyring ved at give brugeren mulighed for at angive “omkostningerne” ved bestemte fejl i klassifikationen i et forsøg på at skabe modeller, der maksimerer nøjagtigheden og samtidig sikrer en acceptabel fordeling af fejl.