Arbitrage biais-variance et sur-apprentissage (L3 machine learning)

Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif d'un modèle prédictif n'est pas de…

Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif d'un modèle prédictif n'est pas de coller aux données d'apprentissage, mais de bien généraliser à de nouvelles données. L'erreur de prédiction se décompose en trois termes : le biais (erreur systématique due à un modèle trop simple, qui rate la vraie relation), la variance (sensibilité du modèle aux fluctuations de l'échantillon d'apprentissage) et une erreur irréductible (bruit). Un modèle trop simple a un biais élevé et une faible variance : c'est le sous-apprentissage (underfitting), il échoue déjà sur les données d'entraînement. Un modèle trop complexe a un faible biais mais une variance élevée : c'est le sur-apprentissage (overfitting), il mémorise le bruit des données d'entraînement et généralise mal sur de nouvelles données. La complexité optimale minimise l'erreur de test (et non l'erreur d'entraînement, qui diminue toujours avec la complexité). On repère le surapprentissage quand l'erreur d'entraînement est faible mais l'erreur de test élevée. Pour le maîtriser, on recourt à la régularisation, à la validation croisée et à davantage de données. Comprendre que l'erreur d'entraînement est trompeuse et qu'il faut viser la généralisation est l'enseignement clé du cours.