Validation croisée et sélection de modèle (L3 machine learning)

La validation croisée est la méthode standard pour estimer la capacité de généralisation d'un modèle et choisir ses hyperparamètres. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM en testent le principe. Comme l'erreur d'entraînement sous-estime l'erreur…

La validation croisée est la méthode standard pour estimer la capacité de généralisation d'un modèle et choisir ses hyperparamètres. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM en testent le principe. Comme l'erreur d'entraînement sous-estime l'erreur réelle (à cause du sur-apprentissage), il faut évaluer le modèle sur des données qu'il n'a pas vues. La démarche la plus simple est la séparation en jeu d'entraînement et jeu de test : on apprend sur le premier, on évalue sur le second. Mais cette estimation dépend du découpage et gaspille des données. La validation croisée à $k$ blocs (k-fold) résout ce problème : on divise les données en $k$ sous-ensembles, on entraîne sur $k-1$ blocs et on teste sur le bloc restant, en répétant l'opération $k$ fois de sorte que chaque bloc serve une fois de test ; on moyenne les $k$ erreurs. Le cas extrême $k = n$ est la validation « leave-one-out ». La validation croisée sert surtout à la sélection de modèle : on compare différentes valeurs d'hyperparamètres (degré d'un polynôme, force de régularisation, profondeur d'un arbre) et on retient celle qui minimise l'erreur de validation. Un piège majeur est la fuite de données (data leakage) : toute information du jeu de test (normalisation, sélection de variables) ne doit jamais servir pendant l'entraînement, sous peine de surestimer la performance. On réserve un jeu de test final, jamais utilisé pour le réglage, afin d'obtenir une estimation honnête de la généralisation.