Régression simple et estimateur des MCO (L2 introduction à l'économétrie)

La régression linéaire simple cherche à expliquer une variable Y (expliquée, endogène) par une variable X (explicative, exogène) au moyen d'une relation affine : $y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$. Le terme d'erreur ε capte tout ce que X n'explique pas (autres facteurs, aléa, erreurs de mesure). β₀ est l'ordonnée à l'origine, β₁ la pente, c'est-à-dire l'effet marginal de X sur Y.

Les MCO choisissent la droite qui minimise la somme des carrés des résidus $\sum e_i^2$. La résolution donne des formules mémorisables : $\hat\beta_1 = \dfrac{\mathrm{Cov}(X, Y)}{\mathrm{Var}(X)}$ et $\hat\beta_0 = \bar y - \hat\beta_1 \bar x$. Deux conséquences utiles : la droite de régression passe TOUJOURS par le point moyen $(\bar x, \bar y)$, et les résidus sont, par construction, non corrélés à X.

La pente $\hat\beta_1$ se lit comme l'effet marginal : « quand X augmente d'une unité, Y varie en moyenne de $\hat\beta_1$ ». La qualité de l'ajustement se mesure par le coefficient de détermination $R^2 = \dfrac{SCE}{SCT}$, part de la variance de Y expliquée par le modèle, comprise entre 0 et 1. Un R² proche de 1 indique un fort pouvoir explicatif, sans garantir pour autant que le modèle soit correct.

Pour que les MCO soient de bons estimateurs, quatre hypothèses doivent tenir : linéarité, exogénéité ($E(\varepsilon \mid X) = 0$), homoscédasticité (variance constante des erreurs) et absence d'autocorrélation. Sous ces conditions, le théorème de Gauss-Markov garantit que les MCO sont BLUE (Best Linear Unbiased Estimator) : les meilleurs estimateurs linéaires sans biais. La normalité des erreurs s'y ajoute pour construire les tests de Student et Fisher.

Le piège majeur de la régression est d'interpréter un coefficient significatif comme un effet causal. Un biais de variable omise, une endogénéité (X corrélée à ε) ou une causalité inversée peuvent produire une corrélation trompeuse. De même, un R² élevé ne valide pas le modèle (régressions fallacieuses). Méthode QCM : retenir $\hat\beta_1 = \mathrm{Cov}/\mathrm{Var}$, le passage par $(\bar x, \bar y)$, l'interprétation de R² comme part de variance, et rester prudent sur la causalité.