Arbitrage biais-variance et sur-apprentissage (L3 machine learning)
Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine…

arbitrage-biais-variance-et-sur-apprentissage
Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif…
Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif d'un modèle prédictif n'est pas de coller aux données d'apprentissage, mais de bien généraliser à de nouvelles données. L'erreur de prédiction se décompose en trois termes : le biais (erreur systématique due à un modèle trop simple, qui rate la vraie relation), la variance (sensibilité du modèle aux fluctuations de l'échantillon d'apprentissage) et une erreur irréductible (bruit). Un modèle trop simple a un biais élevé et une faible variance : c'est le sous-apprentissage (underfitting), il échoue déjà sur les données d'entraînement. Un modèle trop complexe a un faible biais mais une variance élevée : c'est le sur-apprentissage (overfitting), il mémorise le bruit des données d'entraînement et généralise mal sur de nouvelles données. La complexité optimale minimise l'erreur de test (et non l'erreur d'entraînement, qui diminue toujours avec la complexité). On repère le surapprentissage quand l'erreur d'entraînement est faible mais l'erreur de test élevée. Pour le maîtriser, on recourt à la régularisation, à la validation croisée et à davantage de données. Comprendre que l'erreur d'entraînement est trompeuse et qu'il faut viser la généralisation est l'enseignement clé du cours.
Objectifs d'apprentissage
- Décomposer l'erreur en biais et variance
- Comprendre le sous-apprentissage
- Comprendre le sur-apprentissage
- Distinguer erreur d'entraînement et de test
- Identifier la complexité optimale
Cours détaillé
Trois termes de l'erreur quadratique en un point de test
On observe une réponse quantitative Y et p prédicteurs réunis dans X. On pose Y = f(X) + ε, où f est fixe mais inconnue, et où ε est indépendant de X, d'espérance nulle. La prévision est Ŷ = f̂(X), avec f̂ estimée sur un échantillon d'entraînement. En L3 data, pour un revenu ou des ventes, la qualité utile est l'erreur de test sur des unités absentes de cet échantillon. En un point de test x0 et pour la réponse y0, l'équation (2.7) de James, Witten, Hastie et Tibshirani décompose l'erreur quadratique moyenne espérée : E[(y0 − f̂(x0))^2] = Var(f̂(x0)) + [Bias(f̂(x0))]^2 + Var(ε). L'espérance E moyenne cette erreur sur de nombreux échantillons d'entraînement testés en x0. Var(ε) est l'erreur irréductible. Variance et biais au carré sont positifs ou nuls : l'erreur de test espérée en x0 ne descend pas sous Var(ε). Sa moyenne sur les points du jeu de test est l'erreur de test globale.
Variance d'échantillon et biais d'une classe de modèles trop simple
La variance est le changement de f̂ d'un échantillon d'entraînement à l'autre. Une méthode flexible, qui suit les observations, a en général une variance élevée : déplacer un point peut modifier fortement f̂. Une droite des moindres carrés a une variance faible. Le biais est l'erreur d'un modèle trop simple face à une relation compliquée. Si f est nettement non linéaire, la régression linéaire garde un biais élevé, quel que soit le nombre d'observations d'entraînement. Si f est presque linéaire, ce biais peut devenir faible avec un échantillon d'entraînement assez grand. Quand la flexibilité augmente, la variance monte et le biais baisse. L'erreur de test espérée diminue tant que la baisse du biais l'emporte ; elle augmente quand la flexibilité ajoute surtout de la variance.
Calcul du compromis pour les k plus proches voisins
Pour les k plus proches voisins, avec Y = f(X) + ε, E(ε) = 0, Var(ε) = σ² et des abscisses xi fixées, l'erreur de prédiction espérée en x0 vaut σ² + Bias²(f̂k(x0)) + VarT(f̂k(x0)). Le biais au carré est [ET(f̂k(x0)) − f(x0)]^2, et la variance vaut σ²/k. L'espérance du bruit étant nulle, ET(f̂k(x0)) est la moyenne des valeurs de f aux k plus proches. On fixe σ² = 4, f(x0) = 5, et une seule suite de valeurs de f, du plus proche au plus lointain : 5, 6, 6, 7, 9, 11, 13, 15. Pour k = 1, 4 et 8, les moyennes des k premières valeurs de f sont 5, 6 et 9 ; les biais au carré sont 0, 1 et 16 ; les variances sont 4, 1 et 1/2 ; les erreurs de test sont 8, 6 et 41/2. Parmi les trois préfixes illustrés k = 1, 4 et 8 seulement, l'erreur la plus basse est en k = 4. Sur l'ensemble des préfixes de k = 1 à 8, le minimum est en k = 3 : moyenne (5+6+6)/3 = 17/3, biais au carré 4/9, variance 4/3, erreur 4 + 4/9 + 4/3 = 52/9.
Sous-apprentissage, sur-apprentissage et forme en U
Quand la flexibilité augmente, l'erreur quadratique d'entraînement diminue de façon monotone et l'erreur de test décrit une forme en U. James, Witten, Hastie et Tibshirani présentent cette opposition comme une propriété générale, quel que soit le jeu de données et la méthode. Le sur-apprentissage réunit une petite erreur d'entraînement et une grande erreur de test : une méthode moins flexible aurait alors une erreur de test plus faible. L'ajustement a suivi des accidents de l'échantillon d'entraînement absents des données nouvelles, et la variance dégrade la généralisation. Un modèle qui manque de complexité sous-apprend : le biais peut rester grand et l'erreur de test mauvaise, malgré une variance faible. L'erreur d'entraînement, presque toujours plus basse parce que la procédure cherche à la réduire, ne désigne pas la complexité à conserver.
Régularisation et complexité jugée hors échantillon
Si f n'est pas observée, le biais, la variance et l'erreur de test ne se calculent pas directement. La validation croisée estime cette erreur de test avec les données d'entraînement, en jugeant f̂ sur des observations écartées de l'ajustement. Quand les observations ne sont pas bien plus nombreuses que les prédicteurs, la variance des moindres carrés peut devenir élevée et le sur-apprentissage dégrade les prévisions futures. Si les prédicteurs dépassent les observations, l'estimateur des moindres carrés n'est plus unique et sa variance est infinie. La régularisation par shrinkage, qui contracte les coefficients vers zéro, réduit souvent cette variance au prix d'une hausse de biais négligeable. On retient la complexité qui donne l'erreur de test la plus basse.
Concepts clés à maîtriser
Biais
EssentielVariance
EssentielSur-apprentissage
EssentielGénéralisation
EssentielUn modèle prédit très bien les observations apprises, mais sa précision baisse fortement sur des plis de validation séparés correctement. Quel diagnostic est étayé ?

Auteurs et références
- Geman, S.; Bienenstock, E.; Doursat, R. (1992) — Neural Networks and the Bias/Variance Dilemma, Neural Computation
- Hastie, T.; Tibshirani, R.; Friedman, J. (2009) — The Elements of Statistical Learning, Springer, 2e édition — 2.9 Model Selection and the Bias–Variance Tradeoff, p. 37, équations (2.46) et (2.47) Consulter
- James, G.; Witten, D.; Hastie, T.; Tibshirani, R. (2021) — An Introduction to Statistical Learning, Springer, 2e édition — 2.2.2 The Bias-Variance Trade-Off, équation (2.7) ; chapitre 6, Prediction Accuracy et Shrinkage Consulter
Pièges fréquents à éviter
Une sélection supervisée avant les plis donne un score élevé ; intégrée dans chaque pli, elle donne un score bien moindre avec le même estimateur. Quel verdict privilégier ?

Questions types d'examen
- Comment se décompose l'erreur de prédiction ?
- Qu'est-ce que le sous-apprentissage ?
- Qu'est-ce que le sur-apprentissage ?
- Pourquoi l'erreur d'entraînement est-elle trompeuse ?
- Comment trouve-t-on la complexité optimale ?
À retenir
L'erreur se décompose en biais (modèle trop simple, sous-apprentissage), variance (trop sensible aux données, sur-apprentissage) et bruit irréductible. Un modèle trop complexe a une faible erreur d'entraînement mais une erreur de test élevée. On vise la généralisation via régularisation et validation croisée. L'examinateur attend le compromis biais-variance.
Notions liées à approfondir
Teste tes connaissances
5 questions disponibles
Choisis ton mode et entraîne-toi avec des corrections détaillées.
Questions fréquentes
Qu'est-ce que arbitrage-biais-variance-et-sur-apprentissage en machine-learning ?
Le compromis biais-variance est le concept central qui explique pourquoi un modèle plus complexe n'est pas toujours meilleur. En L3 du parcours data pour économistes, dans le cours de machine learning, les QCM CampusQCM le testent systématiquement. L'objectif d'un modèle…
Combien de questions sont disponibles ?
CampusQCM propose 5 questions corrigées sur arbitrage-biais-variance-et-sur-apprentissage avec explications pédagogiques détaillées.
Comment réviser arbitrage-biais-variance-et-sur-apprentissage efficacement ?
Commencez par le mode Révision, lisez les corrections, refaites les erreurs après quelques jours, puis passez en mode Examen.
Ce QCM est-il adapté au programme de L3 ?
Oui, nos questions correspondent au programme officiel de L3 du cursus Data econometrie avancee.
Les QCM fonctionnent-ils sur mobile ?
Oui, CampusQCM est entièrement optimisé pour smartphones et tablettes. Révisez arbitrage-biais-variance-et-sur-apprentissage où que vous soyez, vos scores se synchronisent entre vos appareils.
Les QCM sont-ils gratuits ?
Oui, tous nos QCM sont entièrement gratuits. Créer un compte vous permet de sauvegarder vos scores et suivre votre progression, mais ce n'est pas obligatoire.