1.5.1 Infrequent Events
Wanneer we te maken hebben met geweldsmisdrijven en andere patronen van slecht gedrag zoals terrorisme, is het feit dat het om een relatief weinig voorkomende gebeurtenis gaat een zeer goede zaak voor bijna iedereen, behalve voor de analisten. Hoe kleiner de steekproefomvang, hoe gemakkelijker het is om fouten te maken. Deze fouten kunnen zich om verschillende redenen voordoen, waarvan sommige in hoofdstuk 5 nader zullen worden besproken. Bij het modelleren kunnen weinig voorkomende gebeurtenissen problemen opleveren, vooral wanneer zij gepaard gaan met zeer ongelijke steekproefverdelingen.
Tijdens het analyseren van aanrandingen in verband met overvallen, ontdekten wij dat zeer weinig gewapende overvallen escaleerden in een gewapende overval.3 In feite vonden wij dat minder dan 5% van alle gewapende overvallen escaleerden in een gewapende overval. Nogmaals, dit is een zeer goede zaak vanuit het oogpunt van de openbare veiligheid, hoewel het een aanzienlijke uitdaging vormt voor de ontwikkeling van voorspellende modellen als de analist niet voorzichtig is.
Als we dit in meer detail onderzoeken, wordt het duidelijk dat een zeer eenvoudig model kan worden gemaakt dat een nauwkeurigheidspercentage van meer dan 95% heeft. Met andere woorden, dit eenvoudige model kan de escalatie van een gewapende overval in een zware mishandeling in 95% van de gevallen correct voorspellen. Op het eerste gezicht klinkt dit fenomenaal. Met zo’n zeer accuraat model lijkt het eenvoudig om geweldsmisdrijven proactief in te zetten en binnen een week uit te roeien. Als we het model verder onderzoeken, vinden we echter een kritieke fout: er is maar één beslissingsregel, en dat is “nee”. Door te voorspellen dat een gewapende overval nooit zal escaleren in een zware mishandeling, zou het model 95% van de tijd correct zijn, maar het zou niet erg nuttig zijn. Waar we echt naar op zoek zijn, zijn beslisregels voor overvallen met zware geweldpleging, waarmee we ze kunnen karakteriseren en modelleren. Dan kunnen we pro-actieve strategieën ontwikkelen waarmee we kunnen voorkomen dat ze in de toekomst plaatsvinden. Zoals dit enigszins extreme voorbeeld aantoont, is het evalueren van de doeltreffendheid en de waarde van een model veel meer dan alleen het bepalen van de algemene nauwkeurigheid. Het is uiterst belangrijk de aard van de fouten vast te stellen en vervolgens te bepalen welke soorten fouten aanvaardbaar zijn en welke niet.
Een ander voorbeeld van zeldzame gebeurtenissen zijn aanvallen door piraten, die in verband zijn gebracht met verschillende opzienbarende incidenten, waaronder de aanval op de Maersk Alabama.4 Om de cijfers in het juiste perspectief te plaatsen: ten tijde van dit specifieke incident meldde de 5e Vloot van de VS in Bahrein dat er in totaal 122 aanvallen waren op schepen die door de Golf van Aden voeren.5 Van deze aanvallen waren er 42 “succesvol” vanuit het perspectief van de piraten, wat neerkomt op een “succespercentage” voor de piraten van 34%. Maar om de situatie in de juiste context te plaatsen: in 2008 zijn ongeveer 33 000 schepen zonder incidenten doorgevaren. Minder dan 1/2 van 1% van alle schepen werd aangevallen, al dan niet met succes. Nogmaals, we zouden een model kunnen ontwikkelen dat zegt dat een schip veilig door de Golf van Aden vaart en dat meer dan 99% van de tijd correct zou zijn; dit zou echter geen waarde hebben voor het verbeteren van de maritieme veiligheid in de regio.
Een manier om de specifieke aard van de fouten te evalueren is het opstellen van een zogenaamde verwarrings- of betrouwbaarheidsmatrix. Hiermee wordt de specifieke aard van de fouten en hun bijdrage tot de algemene nauwkeurigheid van het model uitgesplitst en in beeld gebracht. Zodra is vastgesteld waar de fouten zich voordoen en of zij een significante invloed hebben op de waarde van het totale foutenpercentage en het model, kan een weloverwogen beslissing worden genomen over de aanvaarding van het model. Verwarringsmatrices komen uitvoeriger aan de orde in hoofdstuk 8, waarin opleidings- en testmonsters worden behandeld.
De verwarringsmatrix is een belangrijk voorbeeld van een goede praktijk bij analyses. Het kan uiterst waardevol zijn de resultaten in twijfel te trekken, ze een beetje te verschuiven op analytisch vlak en te zien wat er gebeurt, of ze in een ander analytisch licht te bekijken. Ook hier stelt de verwarringsmatrix analisten in staat om dieper te graven en te onderzoeken wat bijdraagt tot de algemene nauwkeurigheid van het model. Vervolgens kunnen zij met kennis van zaken beslissen of zij het model aanvaarden of eraan blijven werken totdat de fouten zijn verdeeld op een wijze die zinvol is in het licht van de algemene doelstelling van openbare veiligheid of inlichtingenwerk. Hoewel dit proces in dit stadium misschien wat onduidelijk lijkt, onderstreept het hoe belangrijk het is analisten met domeinexpertise te kiezen. Personen die weten waar de gegevens vandaan komen en waarvoor zij uiteindelijk zullen worden gebruikt, kunnen onderscheid maken tussen de fouten die aanvaardbaar zijn en de fouten die dat niet zijn. Iemand die veel van statistische analyse weet, kan misschien uiterst elegante en zeer voorspellende modellen opstellen, maar als het model consequent voorspelt dat een gewapende overval nooit zal escaleren in een zware mishandeling omdat de analist niet wist dat deze gebeurtenissen relatief weinig voorkomen, kan dat ernstige gevolgen hebben. Hoewel dit een extreem voorbeeld lijkt dat voor bijna iedereen volkomen duidelijk zou zijn, doen zich regelmatig veel subtielere problemen voor die soortgelijke schadelijke gevolgen kunnen hebben. De ultieme consequentie van deze kwestie is dat de mensen binnen de openbare veiligheidsgemeenschap in de beste positie verkeren om hun eigen gegevens te analyseren. Dit wil niet zeggen dat het verkeerd is om externe analytische hulp in te roepen, maar het volledig uitstellen van deze verantwoordelijkheid, zoals steeds vaker lijkt te gebeuren, kan ernstige gevolgen hebben vanwege de subtiele aard van veel van deze kwesties die het analytische proces doordringen. Dit punt onderstreept ook het belang van samenwerking met het operationele personeel, de uiteindelijke gebruikers van de meeste analytische producten, gedurende het gehele analytische proces. Hoewel zij wellicht enigszins beperkt zijn in hun kennis van en inzicht in de specifieke software of algoritme, kunnen hun inzicht en perceptie met betrekking tot de uiteindelijke operationele doelstellingen het besluitvormingsproces aanzienlijk verbeteren wanneer kosten/baten- en foutenbeheersingskwesties moeten worden aangepakt.
Gezien de aard van misdaad- en inlichtingenanalyse, is het niet ongebruikelijk om incidentele gebeurtenissen en ongelijke verdelingen tegen te komen. Helaas worden in veel standaardinstellingen van datamining- en statistische software automatisch beslisbomen of regelsets gemaakt die zijn voorgeprogrammeerd om de gevallen gelijkmatig te verdelen. Dit kan een groot probleem zijn wanneer men te maken heeft met weinig voorkomende gebeurtenissen of anderszins ongelijke verdelingen. Een andere manier om dit te zeggen is dat het programma aanneemt dat de prioriteitswaarschijnlijkheden of “priors” 50:50 zijn, of een andere gelijkmatig verdeelde verhouding. Over het algemeen is er een manier om dit te resetten, automatisch of handmatig. Bij automatische instellingen is de optie meestal om de voorspelde of verwachte waarschijnlijkheden zo in te stellen dat ze overeenkomen met de prior of waargenomen frequenties in de steekproef. In dit geval berekent de software de waargenomen frequentie van een bepaalde gebeurtenis of voorval in de steekproefgegevens, en gebruikt deze frequentie om een model te genereren dat resulteert in een soortgelijke voorspelde frequentie. In sommige situaties kan het echter voordelig zijn de priors manueel in te stellen. Wanneer bijvoorbeeld wordt getracht het risico te beheersen of de kosten van een bijzonder ernstige fout te beperken, kan het nodig zijn een model op te stellen dat ofwel te genereus is, ofwel zeer streng, afhankelijk van het gewenste resultaat en de aard van de misclassificatiefouten. Sommige softwareprogramma’s bieden soortgelijke vormen van foutenbeheer door de gebruiker in staat te stellen de “kosten” van bepaalde fouten bij de classificatie te specificeren, in een poging modellen te maken die de nauwkeurigheid maximaliseren en tegelijk een aanvaardbare foutenverdeling garanderen.