Arbres de décision, forêts aléatoires, gradient boosting (L3 machine learning)

Les méthodes à base d'arbres comptent parmi les algorithmes les plus performants et les plus utilisés en apprentissage supervisé. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM en testent les principes. Un arbre de décision partitionne…

Les méthodes à base d'arbres comptent parmi les algorithmes les plus performants et les plus utilisés en apprentissage supervisé. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM en testent les principes. Un arbre de décision partitionne récursivement l'espace des variables en régions homogènes par une série de tests binaires (« la variable X dépasse-t-elle un seuil ? ») ; à chaque nœud, on choisit la division qui réduit le plus l'impureté (indice de Gini ou entropie en classification, variance en régression). On prédit ensuite par la classe majoritaire ou la moyenne de la feuille. Les arbres sont intuitifs et lisibles, mais isolément ils ont une forte variance : ils surapprennent facilement. D'où les méthodes d'ensemble, qui combinent de nombreux arbres. Le bagging (bootstrap aggregating) entraîne des arbres sur des échantillons bootstrap et moyenne leurs prédictions, réduisant la variance. La forêt aléatoire (random forest), due à Leo Breiman, va plus loin : à chaque division, elle ne considère qu'un sous-ensemble aléatoire des variables, ce qui décorrèle les arbres et améliore encore la robustesse ; c'est un excellent modèle « prêt à l'emploi ». Le gradient boosting adopte une logique différente, séquentielle : il construit les arbres les uns après les autres, chaque nouvel arbre corrigeant les erreurs des précédents (il ajuste les résidus), ce qui réduit surtout le biais ; des implémentations comme XGBoost dominent de nombreuses compétitions. Retenir l'opposition bagging/forêts (réduction de variance, arbres en parallèle) vs boosting (réduction de biais, arbres séquentiels) est l'enjeu central.