La régularisation : contrôler la complexité d'un modèle (Master Data)

La régularisation est un ensemble de techniques qui pénalisent la complexité d'un modèle afin de limiter le surapprentissage et d'améliorer sa capacité de généralisation. En Master de data science appliquée à l'économie, dans le cours de machine learning, les QCM CampusQCM testent cette approche…

La régularisation est un ensemble de techniques qui pénalisent la complexité d'un modèle afin de limiter le surapprentissage et d'améliorer sa capacité de généralisation. En Master de data science appliquée à l'économie, dans le cours de machine learning, les QCM CampusQCM testent cette approche essentielle, particulièrement utile lorsque les variables sont nombreuses. L'idée est d'ajouter à la fonction de coût (par exemple la somme des carrés des erreurs) un terme de pénalité fonction de la taille des coefficients. Deux méthodes dominantes existent. La régression Ridge ajoute une pénalité proportionnelle à la somme des carrés des coefficients (pénalité L2) : elle réduit l'ampleur des coefficients sans les annuler, ce qui stabilise l'estimation, notamment en présence de multicolinéarité. La régression Lasso ajoute une pénalité proportionnelle à la somme des valeurs absolues des coefficients (pénalité L1) : sa particularité est de pouvoir annuler exactement certains coefficients, opérant ainsi une sélection automatique de variables. L'Elastic Net combine les deux pénalités. Dans tous les cas, un paramètre de réglage (lambda) contrôle l'intensité de la pénalité : plus il est élevé, plus le modèle est contraint et simple. Ce paramètre se choisit par validation croisée. La régularisation illustre l'arbitrage entre ajustement aux données et parcimonie du modèle.