La sélection de variables : choisir les bons prédicteurs (M1 Data économie)

La sélection de variables consiste à choisir, parmi de nombreux prédicteurs disponibles, le sous-ensemble pertinent pour un modèle. En M1 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent cette étape clé. Ajouter des variables améliore toujours l'ajustement…

La sélection de variables consiste à choisir, parmi de nombreux prédicteurs disponibles, le sous-ensemble pertinent pour un modèle. En M1 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent cette étape clé. Ajouter des variables améliore toujours l'ajustement sur l'échantillon d'entraînement, mais au prix d'un sur-ajustement : un modèle avec trop de variables capture le bruit et généralise mal. Le principe de parcimonie (rasoir d'Occam) plaide pour le modèle le plus simple expliquant les données. Pour arbitrer, on utilise des critères pénalisant la complexité : le critère d'Akaike (AIC) et le critère bayésien (BIC) ajoutent à la qualité d'ajustement une pénalité croissant avec le nombre de paramètres ; le BIC pénalise plus fortement, favorisant des modèles plus parcimonieux. Les méthodes de sélection pas à pas (forward, backward, stepwise) ajoutent ou retirent itérativement des variables selon ces critères. Les méthodes de régularisation comme le Lasso effectuent une sélection automatique en annulant les coefficients des variables peu utiles. Bien sélectionner les variables améliore l'interprétabilité, la précision et la robustesse. La sélection de variables est essentielle face aux données de grande dimension.