1.5.1 Eventi poco frequenti
Quando si ha a che fare con il crimine violento e altri modelli di cattivo comportamento come il terrorismo, il fatto che sia un evento relativamente poco frequente è una cosa molto buona per quasi tutti, tranne che per gli analisti. Più piccola è la dimensione del campione, generalmente, più facile è fare errori. Questi errori possono verificarsi per una varietà di ragioni, alcune delle quali saranno discusse più in dettaglio nel Capitolo 5. Nella modellazione, gli eventi poco frequenti possono creare problemi, in particolare quando sono associati a distribuzioni campionarie grossolanamente diseguali.
Analizzando le aggressioni aggravate legate alle rapine, abbiamo scoperto che pochissime rapine a mano armata sfociano in un’aggressione aggravata.3 Infatti, abbiamo scoperto che meno del 5% di tutte le rapine a mano armata sfociano in un’aggressione aggravata. Di nuovo, questa è una cosa molto buona dal punto di vista della sicurezza pubblica, anche se presenta una sfida significativa per lo sviluppo di modelli predittivi se l’analista non sta attento.
Esplorando questo in maggiore dettaglio, diventa evidente che un modello molto semplice può essere creato che ha un tasso di precisione superiore al 95%. In altre parole, questo semplice modello potrebbe prevedere correttamente l’escalation di una rapina a mano armata in un’aggressione aggravata il 95% delle volte. A prima vista, questo sembra fenomenale. Con un modello così accurato, sembrerebbe una cosa semplice da implementare proattivamente e spazzare via il crimine violento entro una settimana. Esaminando ulteriormente il modello, tuttavia, troviamo un difetto critico: c’è solo una regola di decisione, ed è “no”. Prevedendo che una rapina a mano armata non degeneri mai in un’aggressione aggravata, il modello sarebbe corretto il 95% delle volte, ma non sarebbe molto utile. Quello che stiamo davvero cercando sono alcune regole decisionali riguardanti le aggressioni aggravate legate alle rapine che ci permettano di caratterizzarle e modellarle. Poi potremo sviluppare strategie proattive che ci permetteranno di evitare che si verifichino in futuro. Come dimostra questo esempio un po’ estremo, valutare l’efficacia e il valore di un modello è molto più che determinarne la precisione complessiva. È estremamente importante identificare la natura degli errori e poi determinare quali tipi di errori sono accettabili e quali no.
Un altro esempio di eventi rari riguarda gli attacchi dei pirati, che sono stati associati a diversi incidenti di alto profilo tra cui l’attacco alla Maersk Alabama.4 Per mettere i numeri in prospettiva, però, all’epoca di questo particolare incidente, la Quinta Flotta degli Stati Uniti in Bahrain ha riferito che c’erano state 122 incursioni contro navi in transito nel Golfo di Aden.5 Di questi attacchi, 42 hanno avuto “successo” dal punto di vista dei pirati, il che significa una percentuale di “successo” per i pirati del 34%. Per fornire un ulteriore contesto, tuttavia, circa 33.000 navi sono passate nel 2008 senza incidenti. Meno di 1/2 dell’1% di tutte le navi sono state attaccate, con successo o meno. Ancora una volta, potremmo sviluppare un modello che direbbe che una nave in modo sicuro fa il passaggio attraverso il Golfo di Aden e sarebbe corretto più del 99% delle volte; tuttavia, questo non avrebbe alcun valore per migliorare la sicurezza marittima nella regione.
Un modo per valutare la natura specifica degli errori è quello di creare qualcosa chiamato confusione o matrice di fiducia. Ciò che fa è scomporre e rappresentare la natura specifica degli errori e il loro contributo alla precisione complessiva del modello. Una volta che è stato determinato dove si verificano gli errori, e se hanno un impatto significativo sul valore del tasso di errore complessivo e sul modello, si può prendere una decisione informata riguardo all’accettazione del modello. Le matrici di confusione saranno trattate più in dettaglio nel Capitolo 8, che riguarda i campioni di allenamento e di prova.
La matrice di confusione è un esempio importante di una buona pratica di analisi. Può essere estremamente prezioso per sfidare i risultati, spingerli un po’ in giro analiticamente e vedere cosa succede, o guardarli sotto una luce analitica diversa. Di nuovo, la matrice di confusione permette agli analisti di approfondire ed esaminare ciò che contribuisce all’accuratezza generale del modello. Poi possono prendere una decisione informata se accettare il modello o continuare a lavorarci fino a quando gli errori sono distribuiti in un modo che ha senso alla luce dell’obiettivo generale di sicurezza pubblica o di intelligence. Anche se questo processo potrebbe sembrare un po’ oscuro a questo punto, sottolinea l’importanza di scegliere analisti con esperienza nel settore. Gli individui che sanno da dove provengono i dati e per cosa saranno usati, alla fine possono distinguere tra gli errori che sono accettabili e quelli che non lo sono. Qualcuno che conosce molto l’analisi statistica potrebbe essere in grado di creare modelli estremamente eleganti e altamente predittivi, ma se il modello prevede costantemente che una rapina a mano armata non degeneri mai in un’aggressione aggravata perché l’analista non sapeva che questi eventi sono relativamente poco frequenti, ci possono essere gravi conseguenze. Anche se questo potrebbe sembrare un esempio estremo che sarebbe perfettamente ovvio per quasi chiunque, problemi molto più sottili si verificano regolarmente e possono avere conseguenze dannose simili. La conseguenza finale di questo problema è che le persone all’interno della comunità di sicurezza pubblica sono nella posizione migliore per analizzare i propri dati. Questo non vuol dire che sia sbagliato cercare un’assistenza analitica esterna, ma rimandare totalmente questa responsabilità, come sembra avvenire con sempre maggiore frequenza, può avere gravi conseguenze a causa della natura sottile di molti di questi problemi che permeano il processo analitico. Questo punto evidenzia anche l’importanza di lavorare con il personale operativo, gli utenti finali della maggior parte dei prodotti analitici, durante tutto il processo analitico. Anche se potrebbero essere un po’ limitati in termini di conoscenza e comprensione di un particolare software o algoritmo, il loro intuito e la loro percezione riguardo agli obiettivi operativi finali possono migliorare significativamente il processo decisionale quando si devono affrontare questioni di costi/benefici e di gestione degli errori.
Data la natura del crimine e delle analisi di intelligence, non è insolito incontrare eventi poco frequenti e distribuzioni non uniformi. Sfortunatamente, molte impostazioni predefinite del software di data mining e statistica creano automaticamente alberi decisionali o set di regole che sono preprogrammati per distribuire i casi in modo uniforme. Questo può essere un problema enorme quando si ha a che fare con eventi poco frequenti o distribuzioni altrimenti disuguali. Un altro modo di dire questo è che il programma assume che le probabilità precedenti o “priori” siano 50:50, o qualche altro rapporto uniformemente distribuito. Generalmente, c’è un modo per reimpostare questo, sia automaticamente che manualmente. Nelle impostazioni automatiche, l’opzione generalmente è quella di impostare le probabilità previste o attese in modo che corrispondano alle frequenze precedenti o osservate nel campione. In questo caso, il software calcola la frequenza osservata di un particolare evento o evento nei dati del campione, e poi usa questo tasso per generare un modello che risulta in una frequenza prevista simile. In alcune situazioni, tuttavia, può essere vantaggioso impostare i priori manualmente. Per esempio, quando si cerca di gestire il rischio o di ridurre il costo di un errore particolarmente grave, potrebbe essere necessario creare un modello che sia eccessivamente generoso o molto rigoroso, a seconda del risultato desiderato e della natura degli errori di classificazione. Alcuni programmi software offrono simili tipi di gestione degli errori permettendo all’utente di specificare il “costo” di particolari errori di classificazione, nel tentativo di creare modelli che massimizzino l’accuratezza pur garantendo una distribuzione accettabile degli errori.