Aller au contenu principal
machine-learning · L3

Arbitrage biais-variance et sur-apprentissage (L3 machine learning)

Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine…

Courbes d'erreur montrant sous-apprentissage, zone optimale et surapprentissage.
Le minimum de l'erreur de validation se situe entre un modèle trop rigide et un modèle trop sensible aux données.
5 questions Corrections détaillées Niveau L3
18 min de cours ~5 min de QCM 9 sections Intermédiaire
1 Introduction 18 min restant
1

arbitrage-biais-variance-et-sur-apprentissage

Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif…

2

Objectifs d'apprentissage

  • Décomposer l'erreur en biais et variance
  • Comprendre le sous-apprentissage
  • Comprendre le sur-apprentissage
  • Distinguer erreur d'entraînement et de test
  • Identifier la complexité optimale
3

Cours détaillé

Trois termes de l'erreur quadratique en un point de test

On observe une réponse quantitative Y et p prédicteurs réunis dans X. On pose Y = f(X) + ε, où f est fixe mais inconnue, et où ε est indépendant de X, d'espérance nulle. La prévision est Ŷ = f̂(X), avec f̂ estimée sur un échantillon d'entraînement. En L3 data, pour un revenu ou des ventes, la qualité utile est l'erreur de test sur des unités absentes de cet échantillon. En un point de test x0 et pour la réponse y0, l'équation (2.7) de James, Witten, Hastie et Tibshirani décompose l'erreur quadratique moyenne espérée : E[(y0 − f̂(x0))^2] = Var(f̂(x0)) + [Bias(f̂(x0))]^2 + Var(ε). L'espérance E moyenne cette erreur sur de nombreux échantillons d'entraînement testés en x0. Var(ε) est l'erreur irréductible. Variance et biais au carré sont positifs ou nuls : l'erreur de test espérée en x0 ne descend pas sous Var(ε). Sa moyenne sur les points du jeu de test est l'erreur de test globale.

Variance d'échantillon et biais d'une classe de modèles trop simple

La variance est le changement de f̂ d'un échantillon d'entraînement à l'autre. Une méthode flexible, qui suit les observations, a en général une variance élevée : déplacer un point peut modifier fortement f̂. Une droite des moindres carrés a une variance faible. Le biais est l'erreur d'un modèle trop simple face à une relation compliquée. Si f est nettement non linéaire, la régression linéaire garde un biais élevé, quel que soit le nombre d'observations d'entraînement. Si f est presque linéaire, ce biais peut devenir faible avec un échantillon d'entraînement assez grand. Quand la flexibilité augmente, la variance monte et le biais baisse. L'erreur de test espérée diminue tant que la baisse du biais l'emporte ; elle augmente quand la flexibilité ajoute surtout de la variance.

Calcul du compromis pour les k plus proches voisins

Pour les k plus proches voisins, avec Y = f(X) + ε, E(ε) = 0, Var(ε) = σ² et des abscisses xi fixées, l'erreur de prédiction espérée en x0 vaut σ² + Bias²(f̂k(x0)) + VarT(f̂k(x0)). Le biais au carré est [ET(f̂k(x0)) − f(x0)]^2, et la variance vaut σ²/k. L'espérance du bruit étant nulle, ET(f̂k(x0)) est la moyenne des valeurs de f aux k plus proches. On fixe σ² = 4, f(x0) = 5, et une seule suite de valeurs de f, du plus proche au plus lointain : 5, 6, 6, 7, 9, 11, 13, 15. Pour k = 1, 4 et 8, les moyennes des k premières valeurs de f sont 5, 6 et 9 ; les biais au carré sont 0, 1 et 16 ; les variances sont 4, 1 et 1/2 ; les erreurs de test sont 8, 6 et 41/2. Parmi les trois préfixes illustrés k = 1, 4 et 8 seulement, l'erreur la plus basse est en k = 4. Sur l'ensemble des préfixes de k = 1 à 8, le minimum est en k = 3 : moyenne (5+6+6)/3 = 17/3, biais au carré 4/9, variance 4/3, erreur 4 + 4/9 + 4/3 = 52/9.

Sous-apprentissage, sur-apprentissage et forme en U

Quand la flexibilité augmente, l'erreur quadratique d'entraînement diminue de façon monotone et l'erreur de test décrit une forme en U. James, Witten, Hastie et Tibshirani présentent cette opposition comme une propriété générale, quel que soit le jeu de données et la méthode. Le sur-apprentissage réunit une petite erreur d'entraînement et une grande erreur de test : une méthode moins flexible aurait alors une erreur de test plus faible. L'ajustement a suivi des accidents de l'échantillon d'entraînement absents des données nouvelles, et la variance dégrade la généralisation. Un modèle qui manque de complexité sous-apprend : le biais peut rester grand et l'erreur de test mauvaise, malgré une variance faible. L'erreur d'entraînement, presque toujours plus basse parce que la procédure cherche à la réduire, ne désigne pas la complexité à conserver.

Régularisation et complexité jugée hors échantillon

Si f n'est pas observée, le biais, la variance et l'erreur de test ne se calculent pas directement. La validation croisée estime cette erreur de test avec les données d'entraînement, en jugeant f̂ sur des observations écartées de l'ajustement. Quand les observations ne sont pas bien plus nombreuses que les prédicteurs, la variance des moindres carrés peut devenir élevée et le sur-apprentissage dégrade les prévisions futures. Si les prédicteurs dépassent les observations, l'estimateur des moindres carrés n'est plus unique et sa variance est infinie. La régularisation par shrinkage, qui contracte les coefficients vers zéro, réduit souvent cette variance au prix d'une hausse de biais négligeable. On retient la complexité qui donne l'erreur de test la plus basse.

4

Concepts clés à maîtriser

Biais

Essentiel
Erreur systématique d'un modèle trop simple.
Le modèle rate la vraie relation.
QCM : biais sous-apprentissage.

Variance

Essentiel
Sensibilité du modèle aux fluctuations de l'échantillon.
Le modèle change trop selon les données.
QCM : variance.

Sur-apprentissage

Essentiel
Modèle trop complexe qui mémorise le bruit, généralise mal.
Bon à l'entraînement, mauvais au test.
QCM : overfitting.

Généralisation

Essentiel
Capacité à bien prédire sur de nouvelles données.
Minimiser l'erreur de test, pas d'entraînement.
QCM : généralisation erreur de test.
Quick check

Un modèle prédit très bien les observations apprises, mais sa précision baisse fortement sur des plis de validation séparés correctement. Quel diagnostic est étayé ?

Schema
Courbes d'erreur d'entraînement et de validation en fonction de la complexité du modèle.
La complexité réduit le biais mais accroît la varianceL'erreur d'entraînement décroît mécaniquement ; seule l'erreur hors échantillon permet de repérer le point où la complexité devient nuisible.
5

Auteurs et références

Trevor Hastie The Elements of Statistical Learning
Stuart Geman Neural Networks and the Bias/Variance Dilemma
Gareth James An Introduction to Statistical Learning
Christopher Bishop Pattern Recognition and Machine Learning
  • Geman, S.; Bienenstock, E.; Doursat, R. (1992) — Neural Networks and the Bias/Variance Dilemma, Neural Computation
  • Hastie, T.; Tibshirani, R.; Friedman, J. (2009) — The Elements of Statistical Learning, Springer, 2e édition — 2.9 Model Selection and the Bias–Variance Tradeoff, p. 37, équations (2.46) et (2.47) Consulter
  • James, G.; Witten, D.; Hastie, T.; Tibshirani, R. (2021) — An Introduction to Statistical Learning, Springer, 2e édition — 2.2.2 The Bias-Variance Trade-Off, équation (2.7) ; chapitre 6, Prediction Accuracy et Shrinkage Consulter
6

Pièges fréquents à éviter

Erreur Juger un modèle sur l'erreur d'entraînement
Pourquoi L'erreur d'entraînement diminue toujours avec la complexité.
Solution Évaluer sur des données de test/validation.
Erreur Croire qu'un modèle plus complexe est toujours meilleur
Pourquoi Au-delà de l'optimum, la variance fait remonter l'erreur de test.
Solution Viser la complexité qui minimise l'erreur de test.
Erreur Confondre biais et variance
Pourquoi Biais = modèle trop simple ; variance = trop sensible aux données.
Solution Underfitting = biais, overfitting = variance.
Quick check

Une sélection supervisée avant les plis donne un score élevé ; intégrée dans chaque pli, elle donne un score bien moindre avec le même estimateur. Quel verdict privilégier ?

Schema
Tableau de diagnostic du sous-apprentissage, du bon compromis et du surapprentissage.
Diagnostiquer sous-apprentissage et surapprentissageUn fort écart entre entraînement et validation signale la variance ; des erreurs élevées partout signalent plutôt un biais structurel.
7

Questions types d'examen

  1. Comment se décompose l'erreur de prédiction ?
  2. Qu'est-ce que le sous-apprentissage ?
  3. Qu'est-ce que le sur-apprentissage ?
  4. Pourquoi l'erreur d'entraînement est-elle trompeuse ?
  5. Comment trouve-t-on la complexité optimale ?
8

À retenir

L'erreur se décompose en biais (modèle trop simple, sous-apprentissage), variance (trop sensible aux données, sur-apprentissage) et bruit irréductible. Un modèle trop complexe a une faible erreur d'entraînement mais une erreur de test élevée. On vise la généralisation via régularisation et validation croisée. L'examinateur attend le compromis biais-variance.

9

Teste tes connaissances

5 questions disponibles

Choisis ton mode et entraîne-toi avec des corrections détaillées.

10

Questions fréquentes

Qu'est-ce que arbitrage-biais-variance-et-sur-apprentissage en machine-learning ?

Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif d'un modèle…

Combien de questions sont disponibles ?

CampusQCM propose 5 questions corrigées sur arbitrage-biais-variance-et-sur-apprentissage avec explications pédagogiques détaillées.

Comment réviser arbitrage-biais-variance-et-sur-apprentissage efficacement ?

Commencez par le mode Révision, lisez les corrections, refaites les erreurs après quelques jours, puis passez en mode Examen.

Ce QCM est-il adapté au programme de L3 ?

Oui, nos questions correspondent au programme officiel de L3 du cursus Data econometrie avancee.

Les QCM fonctionnent-ils sur mobile ?

Oui, CampusQCM est entièrement optimisé pour smartphones et tablettes. Révisez arbitrage-biais-variance-et-sur-apprentissage où que vous soyez, vos scores se synchronisent entre vos appareils.

Les QCM sont-ils gratuits ?

Oui, tous nos QCM sont entièrement gratuits. Créer un compte vous permet de sauvegarder vos scores et suivre votre progression, mais ce n'est pas obligatoire.