La classification : régression logistique, SVM, k-NN (L3 machine learning)

La classification supervisée prédit une catégorie à partir des variables explicatives, et plusieurs algorithmes de référence répondent à ce problème. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent trois classifieurs majeurs. La régression logistique modélise…

La classification supervisée prédit une catégorie à partir des variables explicatives, et plusieurs algorithmes de référence répondent à ce problème. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM testent trois classifieurs majeurs. La régression logistique modélise la probabilité d'appartenance à une classe via la fonction logistique (sigmoïde) appliquée à une combinaison linéaire des variables : $P(Y=1 \mid X) = \dfrac{1}{1 + e^{-(\beta_0 + \beta'X)}}$. Elle s'estime par maximum de vraisemblance, fournit une frontière de décision linéaire et des coefficients interprétables (en termes d'odds ratio) : c'est le classifieur de base, très utilisé en économie. Les machines à vecteurs de support (SVM) cherchent l'hyperplan séparateur qui maximise la marge, c'est-à-dire la distance aux points les plus proches (les vecteurs de support) ; grâce à l'astuce du noyau (kernel), elles gèrent aussi des frontières non linéaires en projetant les données dans un espace de plus grande dimension. Les k plus proches voisins (k-NN) constituent une méthode non paramétrique très intuitive : pour classer un nouveau point, on regarde les $k$ observations les plus proches dans les données d'entraînement et on lui attribue la classe majoritaire parmi elles ; le choix de $k$ règle le compromis biais-variance ($k$ petit = variance forte, $k$ grand = biais fort). Ces méthodes se différencient par leurs hypothèses, leur interprétabilité et leur frontière de décision. On évalue un classifieur par l'exactitude, mais aussi par la matrice de confusion, la précision, le rappel et l'AUC, surtout en cas de classes déséquilibrées. Savoir associer chaque algorithme à son principe est l'attendu.