1.5.1 Sucesos infrecuentes
Cuando se trata de delitos violentos y otros patrones de mal comportamiento como el terrorismo, el hecho de que sea un suceso relativamente infrecuente es algo muy bueno para casi todos, excepto para los analistas. Cuanto menor sea el tamaño de la muestra, por lo general, más fácil será cometer errores. Estos errores pueden producirse por diversas razones, algunas de las cuales se analizarán con más detalle en el capítulo 5. En la modelización, los sucesos poco frecuentes pueden crear problemas, especialmente cuando se asocian con distribuciones muestrales muy desiguales.
Al analizar los asaltos agravados relacionados con robos, descubrimos que muy pocos robos a mano armada se convierten en un asalto agravado.3 De hecho, descubrimos que menos del 5% de todos los robos a mano armada se convierten en un asalto agravado. Una vez más, esto es algo muy bueno desde el punto de vista de la seguridad pública, aunque presenta un reto importante para el desarrollo de modelos predictivos si el analista no tiene cuidado.
Explorando esto con más detalle, se hace evidente que se puede crear un modelo muy simple que tiene una tasa de precisión superior al 95%. En otras palabras, este sencillo modelo podría predecir correctamente la escalada de un robo a mano armada en un asalto agravado el 95% de las veces. A primera vista, esto suena fenomenal. Con un modelo tan preciso, parecería sencillo desplegarlo de forma proactiva y acabar con los delitos violentos en una semana. Sin embargo, al examinar el modelo más a fondo, encontramos un fallo crítico: sólo hay una regla de decisión, y es «no». Al predecir que un robo a mano armada nunca se convertirá en una agresión con agravantes, el modelo sería correcto el 95% de las veces, pero no sería muy útil. Lo que realmente buscamos son algunas reglas de decisión relativas a los asaltos con agravantes relacionados con robos que nos permitan caracterizarlos y modelarlos. Entonces podremos desarrollar estrategias proactivas que nos permitan evitar que se produzcan en el futuro. Como demuestra este ejemplo un tanto extremo, evaluar la eficacia y el valor de un modelo es mucho más que determinar su precisión general. Es extremadamente importante identificar la naturaleza de los errores y luego determinar qué tipos de errores son aceptables y cuáles no.
Otro ejemplo de sucesos raros está relacionado con los ataques de piratas, que se han asociado a varios incidentes de gran repercusión, como el ataque al Maersk Alabama.4 Para poner las cifras en perspectiva, sin embargo, en el momento de este incidente en particular, la 5ª Flota de EE.UU. en Bahrein informó de que había un total de 122 asaltos a buques que pasaban por el Golfo de Adén.5 De estos ataques, 42 fueron «exitosos» desde la perspectiva de los piratas, lo que resulta en una tasa de «éxito» para los piratas del 34%. Sin embargo, para proporcionar un contexto adicional, aproximadamente 33.000 buques pasaron por el Golfo de Adén en 2008 sin incidentes. Menos de la mitad del 1% de todos los buques fueron atacados, con o sin éxito. Una vez más, podríamos desarrollar un modelo que dijera que un buque pasa con seguridad por el Golfo de Adén y sería correcto más del 99% de las veces; sin embargo, esto no tendría ningún valor para mejorar la seguridad marítima en la región.
Una forma de evaluar la naturaleza específica de los errores es crear algo llamado matriz de confusión o confianza. Lo que hace esto es desglosar y representar la naturaleza específica de los errores y su contribución a la precisión general del modelo. Una vez que se haya determinado dónde se producen los errores, y si tienen un impacto significativo en el valor de la tasa de error global y el modelo, se puede tomar una decisión informada sobre la aceptación del modelo. Las matrices de confusión se tratarán con más detalle en el capítulo 8, que trata de las muestras de entrenamiento y de prueba.
La matriz de confusión es un ejemplo importante de una buena práctica de análisis. Puede ser extremadamente valiosa para desafiar los resultados, empujarlos un poco analíticamente y ver qué sucede, o mirarlos bajo una luz analítica diferente. Una vez más, la matriz de confusión permite a los analistas profundizar y examinar lo que contribuye a la precisión general del modelo. Entonces pueden tomar una decisión informada sobre si aceptar el modelo o seguir trabajando en él hasta que los errores se distribuyan de una manera que tenga sentido a la luz del objetivo general de seguridad pública o de inteligencia. Aunque este proceso pueda parecer algo oscuro en este momento, subraya la importancia de elegir analistas con experiencia en el campo. Las personas que saben de dónde proceden los datos y para qué se van a utilizar pueden, en última instancia, distinguir entre los errores que son aceptables y los que no lo son. Alguien que sabe mucho de análisis estadístico puede ser capaz de crear modelos extremadamente elegantes y altamente predictivos, pero si el modelo predice sistemáticamente que un robo a mano armada nunca se convertirá en un asalto con agravantes porque el analista no sabía que estos sucesos son relativamente infrecuentes, puede haber graves consecuencias. Aunque esto pueda parecer un ejemplo extremo que sería perfectamente obvio para casi cualquiera, hay cuestiones mucho más sutiles que ocurren con regularidad y que pueden tener consecuencias perjudiciales similares. La consecuencia última de esta cuestión es que la gente de la comunidad de seguridad pública es la que está en mejor posición para analizar sus propios datos. Esto no quiere decir que esté mal buscar ayuda analítica externa, pero aplazar totalmente esta responsabilidad, como parece ocurrir cada vez con más frecuencia, puede tener graves consecuencias debido a la naturaleza sutil de muchas de estas cuestiones que impregnan el proceso analítico. Este punto también subraya la importancia de trabajar con el personal operativo, los usuarios finales de la mayoría de los productos analíticos, a lo largo del proceso analítico. Aunque pueden estar algo limitados en cuanto a su conocimiento y comprensión del software o algoritmo en particular, su visión y percepción respecto a los objetivos operativos finales puede mejorar significativamente el proceso de toma de decisiones cuando hay que abordar cuestiones de coste/beneficio y de gestión de errores.
Dada la naturaleza del análisis de la delincuencia y la inteligencia, no es inusual encontrar eventos infrecuentes y distribuciones desiguales. Desgraciadamente, muchas configuraciones por defecto del software de minería de datos y estadística crean automáticamente árboles de decisión o conjuntos de reglas que están preprogramados para distribuir los casos de manera uniforme. Esto puede ser un gran problema cuando se trata de eventos infrecuentes o de distribuciones desiguales. Otra forma de decirlo es que el programa asume que las probabilidades previas o «priors» son 50:50, o alguna otra proporción distribuida uniformemente. Por lo general, hay una manera de restablecer esto, ya sea automática o manualmente. En la configuración automática, la opción suele ser ajustar las probabilidades previstas o esperadas para que coincidan con las frecuencias previas u observadas en la muestra. En este caso, el software calcula la frecuencia observada de un evento o suceso concreto en los datos de la muestra y, a continuación, utiliza esta tasa para generar un modelo que dé como resultado una frecuencia predicha similar. En algunas situaciones, sin embargo, puede ser ventajoso establecer manualmente las priores. Por ejemplo, cuando se intenta gestionar el riesgo o reducir el coste de un error especialmente grave, puede ser necesario crear un modelo que sea demasiado generoso o muy estricto, dependiendo del resultado deseado y de la naturaleza de los errores de clasificación. Algunos programas de software ofrecen tipos similares de gestión de errores permitiendo al usuario especificar el «coste» de determinados errores de clasificación, en un esfuerzo por crear modelos que maximicen la precisión al tiempo que garantizan una distribución aceptable de los errores.