Chapitre 7

Régression et prévision

1. Modèle de régression simple.

1.1 Modèle de régression.

Y = f(X) + e

Définitions :

· La variable Y est appelée variable expliquée.

· La variable X est appelée variable explicative.

· La variable e est une variable aléatoire appelée variable résiduelle.

· La variance notée s_e² de la variable e est appelée variance résiduelle.

Deux hypothèses initiales :

· La variable résiduelle ne dépend pas de X ;

· la v.a. e suit la loi normale de moyenne nulle et de variance s².

1.2 Objectifs de la régression.

· préciser la nature de la régression (la fonction f) ;

· mesurer le degré d’imprécision (la variance résiduelle) ;

· détecter les observations qui ne suivent pas le modèle ;

· effectuer des prévisions de Y pour différentes valeurs de X.

Données : suite de n couples [x(i), y(i)], numérotés de i = 1 à i = n

Notations : m_x, s_x², m_y, s_y² moyennes et variances observées des x(i) et des y(i).

2. liaison linéaire.

2.1 Courbe de régression.

Les observations (y_i) (supposées nombreuses) sont réparties dans des groupes définis par la répartition des observations (x_i) des intervalles I_l, l = 1, …, k.

Définition : on appelle courbe de régression de Y par X la représentation graphique des couples (m_x^l, m_y^l) où m_x^l et m_y^l sont les moyennes des variables X et Y dans les groupes. Cette courbe est une approximation de la fonction f.

propriété fondamentale : la variance totale s_Y² de de la variable Y est égale à la somme de la variance pondérée des moyennes s_m² et de la moyenne pondérée s_r² des variances s_y^{l 2} de la variable Y dans chaque groupe :

	1	n		1	k		1	k
sY^2 = (1/n)	^____	S	(yi – my)^2 =	^____	S	nl (my^l - my)^2 +	^____	S	nl sy^l ^2
	n	i = 1		n	l = 1		n	l = 1

s_Y²= s_m² + s_r²

Définition : on appelle rapport de corrélation de Y par rapport à X le rapport h² de la variance expliquée à la variance totale :

h² = s_m² / s_Y²

Propriétés du rapport de corrélation :

· h²est compris entre 0 et 1 ;

· h² proche de 1 : la valeur y ne varie pas beaucoup à l’intérieur de chaque classe  ;

· h² proche de 0 : les moyennes m_y^l sont très proches les unes des autres (s_m² » 0).

2.1 Liaison linéaire et représentation graphique des couples :

Représentation graphique : cf. chapitre 3.

On suppose que la liaison est linéaire tant que la représentation graphique ne fait pas apparaître une autre relation :

f(x) = b x + a

b et a représentent des paramètres théoriques et inconnus de la régression.

3. Modèle linéaire.

Définition : on appelle droite de régression théorique la droite d’équation y = b x + a, et coefficients de régression théoriques les coefficients b et a.

3.1 Critère des moindres carrés

L’objectif est de déterminer les coefficients de la droite y = b x + a la plus proche possible des n points. Le critère utilisé est le critère des moindres carrés.

Remarque : la notation b et a est classique mais est l’inverse de celle qui est utilisée par de nombreuses calculatrices.

3.2 Estimation des coefficients de régression.

Théorème : les estimations b et a des coefficients de régression théoriques b et a sont données par les formules ci-dessous :

b = cov(x y) / sx^2

a = my – b mx

Remarque : la droite de régression passe par le point moyen :

pour x = m_x, on obtient y = m_y

4. Etude des résidus.

4.1 Résidus.

Définition : on appelle résidus les erreurs observées e(i) définies par :

e(i) = y(i) – [ b x(i) + a ]

Propriétés numériques :

· Les résidus sont de moyenne nulle

· le coefficient de corrélation entre les résidus et la série (x_i) est nul

· La variance s² des résidus vérifie l’équation : s² = (1 – r² ) s_y²

4.2 Propriétés statistiques des résidus.

· Les résidus et la variable explicative doivent être indépendants : on contrôle cette propriété par la représentation des couples (x_i, e_i) i = 1, …, n.

· La normalité de la variable résiduelle e est difficile à contrôler (test de normalité du c² sur les résidus, histogramme, coefficients d’asymétrie et d’aplatissement).

5. Prévisions.

5.1 Estimation et intervalle de confiance de la variance résiduelle.

Définition : l’estimation « sans biais » de la variance résiduelle est égale à :

s’² = n s² / (n – 2)

Propriété : la variable X² = n S² / s_e² suit la loi de probabilité du c² de degré de liberté égal à n - 2, lorsque la variable résiduelle suit la loi normale. On peut en déduire l’intervalle de confiance de la variance résiduelle (cf. chap.6).

5.2 Test sur les coefficients de régression.

Définition : L’intervalle de confiance du coefficient de régression b au niveau de confiance (100-a)% est l’intervalle :

[ b – t_a s’ / (n s_x), b + t_a s’ / (n s_x) ]

dans lequel t_a est choisi dans la table de Student en fonction du niveau de confiance 1 – a et du degré de liberté n = n – 2.

5.3 Prévision ponctuelle et par intervalle de confiance.

intervalle de confiance de la moyenne de Y pour x fixé :

[ b x + a - t_a [v_y ]^1/2, b x + a + t_a [v_y ]^1/2 ]

où t_a est choisi dans la table de la loi de Student en fonction du niveau de confiance 1 - a et du degré de liberté n = n – 2 et v_y est donné par la formule :

v_Y = s’² [1/n + (x – m_x)² / (n s_x²) ]

intervalle de confiance d’une valeur individuelle:

[ b x + a - t_a [v_y’]^1/2, b x + a + t_a [v_y’]^1/2 ]

où t_a est choisi dans la table de la loi de Student en fonction du niveau de confiance 1 - a et du degré de liberté n = n – 2 et v_y’ est égal à :

v_Y^’ = s’² [1/n + (x – m_x)² / (n s_x²) ] + s’²