Sur un jeu de test fictif de 1 000 dossiers, 50 connaissent un défaut. À un seuil choisi avant ce test, un modèle produit 30 vrais positifs, 20 faux négatifs, 70 faux positifs et 880 vrais négatifs. L’exactitude est (30 + 880)/1 000 = 91 %. Un système prédisant toujours absence de défaut atteindrait pourtant 950/1 000 = 95 %. La seule exactitude ferait donc paraître ce système trivial supérieur.
Le rappel du modèle est 30/50 = 60 % : il repère six défauts sur dix. Sa précision est 30/(30 + 70) = 30 % : trois alertes sur dix correspondent à un défaut. Supposons, pour illustrer une perte explicite, qu’un faux négatif coûte 1 000 euros et un faux positif 50 euros. Le coût total du modèle vaut 20 × 1 000 + 70 × 50 = 23 500 euros, contre 50 000 euros pour le système sans alerte.
Ce modèle est donc préférable selon cette perte fictive, malgré une exactitude plus faible. Les coûts annoncés sont des hypothèses de décision, pas des paramètres universels. Une autre fréquence des défauts ou une autre politique de réponse aux alertes peut changer la comparaison. Il faut aussi évaluer la calibration si les probabilités servent à dimensionner un risque. Le jeu de test ne doit pas être réutilisé pour chercher le seuil qui minimise a posteriori ce coût, faute de quoi il cesse d’être une évaluation indépendante.