Mesurer la performance d’un modèle : Accuracy, recall et precision

Dans mon article sur la performance des modèles je vous présentais la démarche à suivre pour mesurer la performance de vos algorithmes. Il est temps de voir plus en détail quelques uns des indicateurs qui peuvent être utilisés pour y parvenir. Dans cet article, je vais vous présenter 3 indicateurs, adaptés pour évaluer la performance d’un modèle de classification et qui sont calculés à partir de la matrice de confusion. Ils sont assez simples à comprendre et sont très complémentaires : l’accuracy, le recall et la precision

Pour la suite je garderai le même exemple sur le score de churn. N’hésitez pas à relire l’article si besoin.

La matrice de confusion, c’est un tableau croisé entre les valeurs réelles et les prédictions. Cette matrice permet d’identifier 4 catégories de résultats :

• Les bonnes prédictions :
  • Vrais positifs : les clients qui ont résilié pour lesquels le score a bien prédit qu’ils allaient résilier
  • Vrais négatifs : les clients qui sont toujours abonnés et pour lesquels l’algorithme a bien prédit qu’ils resteraient abonnés
• Les prédictions fausses :
  • Faux négatifs : les clients qui ont résilié mais pour lesquels le score a prédit à tort qu’ils allaient rester abonnés
  • Faux positifs : les clients qui sont restés abonnés alors que le score a prédit à tort qu’ils allaient résilier

L’indicateur le plus simple est l’accuracy : il indique le pourcentage de bonnes prédictions. C’est un très bon indicateur parce qu’il est très simple à comprendre.

Pour compléter l’accuracy, on calcule également le recall : il se concentre uniquement sur les clients qui ont réellement résilié et donne une indication sur la part de faux négatifs. Les faux négatifs ce sont les clients qui résilient mais qui ne sont pas détectés par le score. Concrètement ce sont des clients que vous ne détectez pas et pour lesquels vous ne pourrez pas agir pour éviter leur départ.

Enfin, un 3ème indicateur vient compléter l’accuracy et le recall, c’est la precision : il se concentre uniquement sur les clients pour lesquels le modèle a prédit une résiliation et donne une indication sur les faux positifs. Les faux positifs ce sont les clients pour lesquels le score a prédit une résiliation mais qui sont restés abonnés. C’est à dire que pour ces clients, vous engagerez surement des actions marketing pour les fidéliser mais ces actions n’étaient pas nécessaires puisqu’ils n’allaient pas résilier. Il faut limiter les faux positifs pour réduire le coût des campagnes.

Quand et comment les utiliser ?

Je trouve que leur utilisation est assez simple. La matrice de confusion à elle seule donne des informations vraiment intéressantes. On peut identifier quelles sont les forces et les faiblesses de nos algorithmes.

L’accuracy, le recall et la precision sont à utiliser ensemble pour donner une vision complète de la performance. On cherche à avoir des valeurs le plus proche possible de 100% pour les 3 indicateurs. Selon les cas, on choisira parfois de maximiser le recall plutôt que la precision ou vice versa. Cela dépend du projet.