La régression régularisée : Ridge, Lasso, Elastic Net (L3 machine learning)

La régularisation modifie l'estimation des moindres carrés en pénalisant la taille des coefficients, afin de réduire le sur-apprentissage et de gérer la multicolinéarité. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent les trois méthodes principales.…

La régularisation modifie l'estimation des moindres carrés en pénalisant la taille des coefficients, afin de réduire le sur-apprentissage et de gérer la multicolinéarité. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent les trois méthodes principales. Le principe commun : au lieu de minimiser la seule somme des carrés des résidus, on minimise cette somme augmentée d'une pénalité sur les coefficients, contrôlée par un paramètre $\lambda$ (force de régularisation). La régression Ridge ajoute une pénalité L2, proportionnelle à la somme des carrés des coefficients $\lambda \sum_j \beta_j^2$ : elle rétrécit (shrink) tous les coefficients vers zéro sans jamais les annuler exactement, ce qui la rend très efficace contre la multicolinéarité. La régression Lasso ajoute une pénalité L1, proportionnelle à la somme des valeurs absolues $\lambda \sum_j |\beta_j|$ : sa géométrie particulière annule exactement certains coefficients, réalisant ainsi une sélection de variables automatique — c'est son atout majeur quand on a beaucoup de prédicteurs. L'Elastic Net combine les pénalités L1 et L2, héritant des deux avantages : sélection de variables (L1) et stabilité face aux variables corrélées (L2), utile quand des groupes de variables sont liés. Dans tous les cas, augmenter $\lambda$ accroît le biais mais réduit la variance : la régularisation est une mise en œuvre directe de l'arbitrage biais-variance, et l'on choisit $\lambda$ par validation croisée. Un préalable important est de standardiser les variables, car les pénalités dépendent de l'échelle. Retenir que Lasso (L1) sélectionne et Ridge (L2) rétrécit sans annuler est le point clé.