Aller au contenu principal
🤖 L3 • Data / Économétrie avancée Disponible

Apprendre sur des données sans confondre mémorisation et prévision

Apprentissage supervisé et non supervisé, arbres de décision, forêts aléatoires, SVM, réseaux de neurones et validation croisée.

1 QCM disponible 20 Questions dans les QCM

Banque publiée de la matière : 20 questions au total. Les compteurs ci-dessus concernent les QCM listés sur cette page. Explorer aussi les fiches notions et leurs entraînements.

Commencer à réviser

Choisis un QCM et tes scores s'enregistreront automatiquement.

← Toutes les matières L3
🤖 Auto Disponible

QCM machine-learning L3 - Validation, fuite de données et régularisation

QCM de 20 questions avec corrections détaillées sur Validation, fuite de données et régularisation (machine-learning). Révisez efficacement avec des explications pédagogiques pour le niveau L3.

20 questions Intermédiaire Jusqu'à 40 XP
Révision Challenge Examen
Voir ce QCM

Présentation de Machine Learning

Le Machine Learning pour économistes présente l'apprentissage supervisé et non supervisé : arbres de décision, forêts aléatoires, SVM, régularisation (Lasso, Ridge), validation croisée et réseaux de neurones, avec un accent sur les applications économiques.

Objectifs pédagogiques

Maîtriser les fondements de l'apprentissage automatique appliqué à l'économie : distinguer apprentissage supervisé et non supervisé, comprendre l'arbitrage biais-variance, et savoir entraîner, régulariser et évaluer des modèles prédictifs.

Auteurs de référence en Machine Learning

Les penseurs et théoriciens incontournables abordés dans nos QCM et dans les programmes universitaires.

Trevor Hastie Robert Tibshirani Gareth James Andrew Ng

Notions et périmètre de Machine Learning en Licence 3

Repères de cours pour situer la matière. Le contenu de chaque questionnaire est précisé sur sa page ; confrontez ce périmètre à votre propre cours.

Apprentissage supervisé vs non supervisé
Arbitrage biais-variance et sur-apprentissage
Validation croisée et sélection de modèle
Régression régularisée : Ridge, Lasso, Elastic Net
Arbres de décision, forêts aléatoires, gradient boosting
Classification : régression logistique, SVM, k-NN
Apprentissage non supervisé : clustering, réduction de dimension

Compétences visées en Machine Learning

  • Définir une cible prédictive et une perte adaptée.
  • Séparer apprentissage, sélection et évaluation finale.
  • Expliquer les effets de Ridge, Lasso et des ensembles d’arbres.
  • Calculer et interpréter des métriques de classification.

Définir la prédiction avant de choisir un algorithme

L’apprentissage supervisé utilise une cible observée pour apprendre une relation entre caractéristiques et résultat. Une régression prédit une grandeur numérique, comme une dépense ; une classification prédit une catégorie ou sa probabilité, comme un défaut. L’apprentissage non supervisé cherche une structure sans cible étiquetée, par exemple des groupes ou des directions de variation. La frontière tient donc à la question et aux données disponibles, pas seulement au nom de l’algorithme. Une même base peut servir à plusieurs tâches qui nécessitent des évaluations différentes.

Dans une application économique, préciser la date de décision et les informations disponibles à cette date. Prédire un défaut futur avec une variable enregistrée seulement après ce défaut est une fuite de cible, même si la variable figure dans le fichier. La fonction de perte traduit ce que l’on souhaite réduire : erreur absolue, erreur quadratique, log-perte ou coût d’une décision. Un gain statistique minime peut être inutile si les données arrivent trop tard ou si la procédure dépasse les ressources disponibles.

Biais, variance et surapprentissage

Un modèle trop simple peut manquer une relation réelle : son biais d’approximation est élevé. Un modèle très flexible peut s’adapter à des particularités accidentelles de l’échantillon : sa variance entre échantillons augmente. L’erreur d’apprentissage diminue souvent avec la complexité, mais l’erreur sur de nouvelles observations peut finir par augmenter. Cette divergence caractérise le surapprentissage. Une excellente restitution des données déjà vues n’est donc pas une preuve de capacité prédictive.

Le compromis biais-variance s’apprécie relativement à une distribution et une perte. Augmenter les données peut réduire certaines formes de variance sans corriger une cible mal mesurée ou une rupture de population. Les courbes d’apprentissage, qui comparent performance et taille d’échantillon, aident à distinguer manque de données et modèle insuffisant. Les observations atypiques peuvent être des erreurs, mais aussi les cas les plus importants pour la décision. Les supprimer uniquement pour améliorer une métrique change implicitement la tâche et doit être justifié.

Régulariser les coefficients plutôt que seulement les estimer

Ridge ajoute au critère d’erreur une pénalité proportionnelle à la somme des carrés des coefficients. Lasso utilise la somme de leurs valeurs absolues et peut annuler certains coefficients. Elastic Net combine ces deux pénalités. Le paramètre de régularisation règle la force de la contraction ; il est sélectionné sur une évaluation interne, non sur le jeu de test final. La constante est généralement traitée séparément de la pénalité. Les conventions de normalisation de la perte varient selon les logiciels et doivent être vérifiées avant de comparer les paramètres.

Les pénalités dépendent de l’échelle des variables. Une standardisation est donc souvent nécessaire, mais ses paramètres doivent être appris uniquement sur les données d’entraînement de chaque partition. Ridge répartit fréquemment l’information entre variables corrélées ; Lasso peut en sélectionner une parmi plusieurs sans que ce choix soit stable ou causal. Une variable retenue par une pénalité n’est pas automatiquement un déterminant économique établi. Pour interpréter la sélection, examiner la stabilité, les unités et le rôle de variables substituables.

Arbres, voisinage et modèles de classification

Un arbre découpe l’espace des caractéristiques par des règles successives. Il capte interactions et non-linéarités, mais un arbre profond est instable. Les forêts aléatoires combinent des arbres diversifiés pour réduire la variance ; le boosting construit une suite de modèles qui améliorent progressivement une perte. Profondeur, nombre d’arbres et vitesse d’apprentissage contrôlent la flexibilité. Ces méthodes ne dispensent pas d’une comparaison à un modèle simple et peuvent extrapoler difficilement au-delà des valeurs observées.

La régression logistique produit une probabilité via une transformation non linéaire d’un score. Les plus proches voisins utilisent une notion de distance, donc dépendent fortement de la mise à l’échelle et de la dimension. Les SVM recherchent une séparation avec marge, éventuellement dans une représentation transformée. Pour toute classification, distinguer probabilité estimée et seuil de décision. Un seuil de 0,5 n’est pas universellement optimal lorsque les coûts des erreurs ou la fréquence de la classe positive sont déséquilibrés.

Exemple calculé : deux métriques racontent deux performances

Sur un jeu de test fictif de 1 000 dossiers, 50 connaissent un défaut. À un seuil choisi avant ce test, un modèle produit 30 vrais positifs, 20 faux négatifs, 70 faux positifs et 880 vrais négatifs. L’exactitude est (30 + 880)/1 000 = 91 %. Un système prédisant toujours absence de défaut atteindrait pourtant 950/1 000 = 95 %. La seule exactitude ferait donc paraître ce système trivial supérieur.

Le rappel du modèle est 30/50 = 60 % : il repère six défauts sur dix. Sa précision est 30/(30 + 70) = 30 % : trois alertes sur dix correspondent à un défaut. Supposons, pour illustrer une perte explicite, qu’un faux négatif coûte 1 000 euros et un faux positif 50 euros. Le coût total du modèle vaut 20 × 1 000 + 70 × 50 = 23 500 euros, contre 50 000 euros pour le système sans alerte.

Ce modèle est donc préférable selon cette perte fictive, malgré une exactitude plus faible. Les coûts annoncés sont des hypothèses de décision, pas des paramètres universels. Une autre fréquence des défauts ou une autre politique de réponse aux alertes peut changer la comparaison. Il faut aussi évaluer la calibration si les probabilités servent à dimensionner un risque. Le jeu de test ne doit pas être réutilisé pour chercher le seuil qui minimise a posteriori ce coût, faute de quoi il cesse d’être une évaluation indépendante.

Validation croisée et prévention des fuites

La validation croisée divise les données d’apprentissage en plis et mesure la performance sur des observations non utilisées pour ajuster le modèle du pli concerné. Elle sert notamment à régler les hyperparamètres. Le jeu de test final reste à part jusqu’au choix de la procédure. Une validation imbriquée sépare plus strictement sélection et évaluation lorsque l’on souhaite estimer la performance de toute la recherche de modèle. Rapporter la meilleure valeur obtenue après de nombreux essais sur un même test donne une estimation optimiste.

Les partitions doivent respecter la structure économique : grouper les lignes d’un même client, séparer les périodes dans l’ordre chronologique ou tenir compte des unités géographiques selon la cible de généralisation. Imputation, standardisation, sélection de variables et réduction de dimension sont ajustées dans chaque pli, puis appliquées à sa partie de validation. Un pipeline formalise cet ordre. Même une transformation sans utiliser explicitement la cible peut transmettre de l’information sur le jeu de validation si elle a été ajustée sur l’ensemble des observations.

Méthode : comparer, interpréter et surveiller

Fixer la cible, l’horizon, la perte et une règle de référence simple. Construire ensuite les partitions, puis seulement les transformations et modèles candidats. Comparer leurs performances avec une incertitude appropriée et examiner les sous-groupes utiles. Une importance de variable ou une explication locale décrit le comportement prédictif du modèle ; elle n’établit pas ce qui arriverait si l’on intervenait sur cette variable. Les variables corrélées peuvent également partager ou déplacer cette importance.

Après déploiement, vérifier les distributions d’entrée, les taux de données absentes et la performance dès que les résultats deviennent observables. Une dérive de population peut rendre obsolète une validation autrefois correcte. Archiver versions de données, paramètres et critères de sélection pour reconstruire les décisions. Pour les usages sensibles, examiner également conséquences et disparités entre groupes. La performance moyenne reste une information partielle : elle doit être mise en relation avec le contexte de décision et les limites du dispositif.

Questions de cours

Pourquoi garder un jeu de test séparé ?

Il sert à évaluer la procédure après la sélection des modèles et hyperparamètres. L’utiliser répétitivement pour choisir transforme cette évaluation en apprentissage indirect.

Faut-il standardiser avant la validation croisée ?

La standardisation doit être ajustée dans chaque pli d’apprentissage, puis appliquée au pli de validation. L’ajuster sur tout le fichier transmet de l’information.

Lasso identifie-t-il les causes importantes ?

Non. Il sélectionne des variables utiles selon une perte et une pénalité. La causalité demande un dispositif et des hypothèses distincts.

Une AUC élevée garantit-elle de bonnes probabilités ?

Non. L’AUC mesure surtout un classement entre classes. La calibration et l’utilité au seuil choisi doivent être évaluées séparément.

Fiches pour approfondir Machine Learning

Toutes les fiches de Machine Learning

Bibliographie recommandée en Machine Learning

Ouvrages de référence utilisés dans les universités françaises pour Licence 3

An Introduction to Statistical Learning

• Springer •

ISBN : 978-1071614174

The Elements of Statistical Learning

• Springer •

ISBN : 978-0387848570

Machine Learning avec Scikit-Learn

• Dunod •

ISBN : 978-2100847471

Ces lectures éclairent le périmètre traité. Le contenu est à confronter au cours de votre établissement ; il ne constitue pas un programme officiel.

Comment réviser Machine Learning efficacement ?

Relire le cours

Commencez par relire vos notes et le manuel de référence pour rafraîchir les concepts clés.

Mode Révision

Utilisez le mode Révision avec les indices et corrections détaillées pour tester vos connaissances.

Mode Examen

Une fois prêt, passez en mode Examen pour vous évaluer dans les conditions réelles.