1.5.1 Événements peu fréquents
Lorsqu’on traite de crimes violents et d’autres modèles de mauvais comportements comme le terrorisme, le fait qu’il s’agisse d’un événement relativement peu fréquent est une très bonne chose pour presque tout le monde, sauf pour les analystes. En général, plus la taille de l’échantillon est petite, plus il est facile de faire des erreurs. Ces erreurs peuvent se produire pour diverses raisons, dont certaines seront examinées plus en détail au chapitre 5. Dans la modélisation, les événements peu fréquents peuvent créer des problèmes, en particulier lorsqu’ils sont associés à des distributions d’échantillons grossièrement inégales.
En analysant les agressions graves liées à des vols, nous avons constaté que très peu de vols à main armée dégénèrent en agressions graves.3 En fait, nous avons constaté que moins de 5 % de tous les vols à main armée dégénèrent en agressions graves. Encore une fois, c’est une très bonne chose du point de vue de la sécurité publique, bien que cela présente un défi important pour le développement de modèles prédictifs si l’analyste n’est pas prudent.
En explorant cela plus en détail, il devient évident qu’un modèle très simple peut être créé qui a un taux d’exactitude de plus de 95%. En d’autres termes, ce modèle simple pourrait prédire correctement l’escalade d’un vol à main armée en une agression aggravée dans 95 % des cas. À première vue, cela semble phénoménal. Avec un modèle aussi précis, il semblerait simple de déployer de manière proactive et d’éradiquer les crimes violents en une semaine. Cependant, en examinant le modèle de plus près, nous découvrons une faille critique : il n’y a qu’une seule règle de décision, et c’est « non ». En prédisant qu’un vol à main armée ne dégénérera jamais en agression aggravée, le modèle serait correct dans 95 % des cas, mais il ne serait pas très utile. Ce que nous recherchons réellement, ce sont des règles de décision concernant les agressions aggravées liées à un vol à main armée qui nous permettront de les caractériser et de les modéliser. Nous pourrons alors élaborer des stratégies proactives qui nous permettront de les empêcher de se produire à l’avenir. Comme le montre cet exemple quelque peu extrême, l’évaluation de l’efficacité et de la valeur d’un modèle va bien au-delà de la simple détermination de sa précision globale. Il est extrêmement important d’identifier la nature des erreurs, puis de déterminer quels types d’erreurs sont acceptables et lesquels ne le sont pas.
Un autre exemple d’événements rares concerne les attaques de pirates, qui ont été associées à plusieurs incidents très médiatisés, notamment l’attaque du Maersk Alabama4. Pour mettre les chiffres en perspective, cependant, au moment de cet incident particulier, la 5e flotte américaine à Bahreïn a signalé qu’il y avait eu un total de 122 raids sur des navires traversant le golfe d’Aden.5 Parmi ces attaques, 42 ont été « réussies » du point de vue des pirates, ce qui donne un taux de « réussite » pour les pirates de 34%. Pour replacer les choses dans leur contexte, il faut savoir qu’environ 33 000 navires ont traversé le golfe d’Aden sans incident en 2008. Moins de 1/2 de 1% de tous les navires ont été attaqués, avec ou sans succès. Encore une fois, nous pourrions développer un modèle qui dirait qu’un navire fait un passage en toute sécurité dans le golfe d’Aden et qui serait correct plus de 99% du temps ; cependant, cela n’aurait aucune valeur pour renforcer la sécurité maritime dans la région.
Une façon d’évaluer la nature spécifique des erreurs est de créer quelque chose appelé une matrice de confusion ou de confiance. Il s’agit de décomposer et de représenter la nature spécifique des erreurs et leur contribution à la précision globale du modèle. Une fois que l’on a déterminé où les erreurs se produisent, et si elles ont un impact significatif sur la valeur du taux d’erreur global et du modèle, une décision éclairée peut être prise concernant l’acceptation du modèle. Les matrices de confusion seront abordées plus en détail au chapitre 8, qui traite des échantillons d’entraînement et de test.
La matrice de confusion est un exemple important d’une bonne pratique d’analyse. Il peut être extrêmement précieux de contester les résultats, de les pousser un peu analytiquement et de voir ce qui se passe, ou de les regarder sous un angle analytique différent. Là encore, la matrice de confusion permet aux analystes d’approfondir et d’examiner ce qui contribue à la précision globale du modèle. Ils peuvent alors décider en toute connaissance de cause d’accepter le modèle ou de continuer à travailler dessus jusqu’à ce que les erreurs soient réparties d’une manière qui ait un sens à la lumière de l’objectif global de sécurité publique ou de renseignement. Bien que ce processus puisse sembler quelque peu obscur à ce stade, il souligne l’importance de choisir des analystes ayant une expertise du domaine. Les personnes qui savent d’où viennent les données et à quoi elles serviront peuvent en fin de compte faire la distinction entre les erreurs acceptables et celles qui ne le sont pas. Une personne qui s’y connaît en analyse statistique peut être en mesure de créer des modèles extrêmement élégants et hautement prédictifs, mais si le modèle prédit systématiquement qu’un vol à main armée ne dégénérera jamais en agression grave parce que l’analyste ne savait pas que ces événements sont relativement peu fréquents, les conséquences peuvent être graves. Bien que cela puisse sembler un exemple extrême qui serait parfaitement évident pour presque tout le monde, des problèmes bien plus subtils se produisent régulièrement et peuvent avoir des conséquences néfastes similaires. La conséquence ultime de ce problème est que les personnes de la communauté de la sécurité publique sont les mieux placées pour analyser leurs propres données. Cela ne veut pas dire qu’il est mauvais de demander une aide analytique extérieure, mais le fait de se décharger totalement de cette responsabilité, comme cela semble se produire de plus en plus fréquemment, peut avoir de graves conséquences en raison de la nature subtile de nombre de ces problèmes qui imprègnent le processus analytique. Ce point souligne également l’importance de travailler avec le personnel opérationnel, les utilisateurs finaux de la plupart des produits analytiques, tout au long du processus analytique. Bien qu’ils puissent être quelque peu limités en termes de connaissance et de compréhension du logiciel ou de l’algorithme particulier, leur perspicacité et leur perception concernant les objectifs opérationnels ultimes peuvent considérablement améliorer le processus de prise de décision lorsque les questions de coût/bénéfice et de gestion des erreurs doivent être abordées.
Compte tenu de la nature de l’analyse du crime et du renseignement, il n’est pas inhabituel de rencontrer des événements peu fréquents et des distributions inégales. Malheureusement, de nombreux paramètres par défaut sur les logiciels d’exploration de données et de statistiques créent automatiquement des arbres de décision ou des ensembles de règles qui sont préprogrammés pour distribuer les cas de manière égale. Cela peut poser un énorme problème lorsqu’il s’agit d’événements peu fréquents ou de distributions inégales. Une autre façon de le dire est que le programme suppose que les probabilités préalables ou « priors » sont de 50:50, ou un autre rapport de distribution uniforme. En général, il existe un moyen de réinitialiser cela, soit automatiquement, soit manuellement. Dans les paramètres automatiques, l’option consiste généralement à définir les probabilités prédites ou attendues pour qu’elles correspondent aux fréquences antérieures ou observées dans l’échantillon. Dans ce cas, le logiciel calcule la fréquence observée d’un événement ou d’une occurrence particulière dans les données de l’échantillon, puis utilise ce taux pour générer un modèle qui aboutit à une fréquence prédite similaire. Dans certaines situations, cependant, il peut être avantageux de définir les prieurs manuellement. Par exemple, lorsqu’on essaie de gérer le risque ou de réduire le coût d’une erreur particulièrement grave, il peut être nécessaire de créer un modèle qui soit excessivement généreux ou très rigoureux, selon le résultat souhaité et la nature des erreurs de classification. Certains logiciels offrent des types similaires de gestion des erreurs en permettant à l’utilisateur de spécifier le « coût » d’erreurs particulières de classification, dans le but de créer des modèles qui maximisent la précision tout en assurant une distribution acceptable des erreurs.