La validation croisée : estimer la performance réelle d'un modèle (Master Data)

La validation croisée est une technique de rééchantillonnage qui estime la capacité d'un modèle à généraliser à de nouvelles données. En Master de data science appliquée à l'économie, dans le cours de machine learning, les QCM CampusQCM testent cette méthode d'évaluation rigoureuse. Le problème…

La validation croisée est une technique de rééchantillonnage qui estime la capacité d'un modèle à généraliser à de nouvelles données. En Master de data science appliquée à l'économie, dans le cours de machine learning, les QCM CampusQCM testent cette méthode d'évaluation rigoureuse. Le problème qu'elle résout est central : si l'on évalue un modèle sur les mêmes données qui ont servi à l'entraîner, on surestime sa performance, car le modèle a pu mémoriser ces données. Diviser une fois les données en un ensemble d'entraînement et un ensemble de test améliore la situation, mais l'estimation dépend alors de ce découpage particulier. La validation croisée k-fold résout ce problème : on partitionne les données en k sous-ensembles (folds) de taille égale ; on entraîne le modèle sur k−1 folds et on l'évalue sur le fold restant, en répétant l'opération k fois de sorte que chaque fold serve une fois de test. La performance est la moyenne des k évaluations, ce qui fournit une estimation plus robuste de l'erreur de généralisation. La validation croisée sert aussi à régler les hyperparamètres (comme le lambda de la régularisation) et à comparer des modèles. Un piège classique est la fuite de données (data leakage) : toute opération utilisant l'information de l'ensemble de test (normalisation, sélection de variables) doit être faite à l'intérieur de la procédure. La validation croisée illustre l'évaluation honnête des modèles prédictifs.