La régression

1. Objectif de la régression linéaire simple

La régression linéaire revient à essayer de trouver/déterminer l’équation , avec X la variable explicative qui s’approcherait au mieux des valeurs de Y.

L’inconnu a donne la pente (slope), c’est-à-dire l’inclinaison de la droite prédite. L’inconnu b est l’ordonnée à l’origine (intercept), c’est la valeur à laquelle la droite coupe l’axe des ordonnées.

Le modèle ajuste les paramètres a et b pour obtenir la meilleure équation, c’est-à-dire celle qui représente le mieux les données, donc celle pour laquelle la somme des écarts entre les valeurs calculées et réelles est la plus faible (cf. figure 03-01). Comme les écarts peuvent être positifs ou négatifs, les carrés ont été privilégiés, raison pour laquelle cette méthode est dite des moindres carrés (OLS pour Ordinary Least Squares).

Dans le chapitre Les statistiques, à la section Initiation à la réalisation de graphiques avec {ggplot2} dans R, le lien entre longueur et largeur des pétales d’iris a été visualisé avec un nuage de points sans être analysé. Le graphique de la figure 02-02 va servir d’exemple à la réalisation d’une régression linéaire simple.

Figure 03-01 : Nuage de points représentant la largeur des pétales d’iris en fonction de la longueur. La droite représente la régression linéaire simple réalisée ci-après (cf. figure 03-02). Les pointillés représentent les écarts entre les valeurs réelles et prédites par l’équation...

1. Régression polynomiale

Dans le graphique B de la figure 03-03, les données se dispersent selon une courbe en cloche. Ce type de courbe est typique d’une relation polynomiale entre les données, c’est-à-dire que l’équation est de la forme . L’équation polynomiale utilise au minimum trois inconnues : a, b et c ; elle est donc plus "coûteuse" en hypothèses que la régression linéaire.

Un polynôme est la somme de plusieurs monômes de la forme , avec le coefficient, c’est-à-dire un nombre, et n le degré du monôme. Dans l’équation précédente, le polynôme est de degré 2, le degré du premier monôme est 2, ensuite c’est 1, puis 0. Un polynôme de degré 1 est une équation linéaire. Dans cet ouvrage, seul le polynôme de degré 2 sera vu.

La régression polynomiale, comme la régression linéaire, fait partie des modèles linéaires, car ce n’est pas l’équation qui donne son nom au modèle, mais la manière d’associer les effets. Les effets sont en fait additionnés. C’est pourquoi la fonction à utiliser est la même que précédemment, à savoir lm() du package {stats}. C’est la formule qui détermine le type de régression.

L’objectif de l’exemple est de déterminer si le volume du cylindre (variable disp, pour displacement en anglais) en cubic inches peut permettre de modéliser la distance parcourue avec un gallon de carburant (variable mpg pour miles per gallon), à partir du jeu de données mtcars présent dans le package {base} chargé automatiquement...

1. Définitions et limites de la régression non paramétrique

Lorsque les résidus des modèles linéaires ne suivent pas une loi normale ou qu’ils sont franchement hétérogènes, il peut être intéressant de réaliser une régression non paramétrique.

La régression non paramétrique demande des tailles d’échantillons plus grandes pour "compenser" l’absence d’équation définie.

Le but de la régression non paramétrique est d’obtenir une fonction de lissage  qui représente au mieux la tendance des données. Contrairement à la régression paramétrique où l’équation est construite à partir de blocs, la régression non paramétrique n’utilise que les données. La fonction est calculée à partir des couples de coordonnées : + avec , et l’erreur aléatoire. Les résidus, appelés ici erreurs aléatoires, peuvent suivre une loi normale, mais sans que cela soit nécessaire.

Il existe différentes méthodes pour déterminer  :