Chapitre 6

tests statistiques

Les tests statistiques sont des méthodes de la statistique inférentielle qui, comme l’estimation, permettent d’analyser des données obtenues par tirages au hasard. Ils consistent à généraliser les propriétés constatées sur des observations à la population d’où ces dernières sont extraites, et à répondre à des questions concernant par exemple la nature d’une loi de probabilité, la valeur d’un paramètre ou l’indépendance de deux variables aléatoires. Nous retrouverons dans certains cas la démarche utilisée en estimation.

1. Généralités sur les tests statistiques.

1.1 Notion de test statistique.

Pour introduire intuitivement la démarche générale, nous allons considérer le cas d’un tribunal examinant la culpabilité d’un prévenu : ce tribunal doit établir cette culpabilité et, si elle est avérée, infliger une peine au coupable[1].

On sait que le prévenu bénéficie d’un a priori favorable : il est présumé innocent, et la preuve de sa culpabilité est en principe à la charge de l’accusation.

La démarche, dans un test statistique, est strictement analogue : on suppose que la variable aléatoire étudiée possède une propriété particulière, appelée hypothèse nulle (c’est la présomption d’innocence), et pour remettre en cause cette propriété, il faut apporter la preuve qu’elle est fausse (c’est la preuve de la culpabilité).

C’est l’enquête policière qui montre la culpabilité de l’accusé : par exemple, la présence d’une grosse somme d’argent inexpliquée sur un compte en banque peut être considérée comme la preuve d’une escroquerie. De même c’est l’enquête statistique qui montre que la v.a. ne possède pas la propriété supposée vraie et que l’hypothèse nulle est fausse. Cette enquête est fondée sur l’analyse des observations de la v.a. : suivant les résultats de cette analyse, l’hypothèse nulle est considérée comme vraisemblable (l’innocence dans le cas de l'enquête policière) ou presque impossible et « rejetée » : on accepte alors une autre hypothèse, appelée hypothèse alternative (la culpabilité).

Définition : on appelle test statistique une démarche de la statistique inférentielle consistant :

· à contrôler la validité d’une hypothèse considérée comme vraie a priori, appelée hypothèse nulle et notée H₀ ;

· à admettre une hypothèse différente lorsque le contrôle se révèle négatif, appelée hypothèse alternative et notée H₁.

Il existe donc deux façons de se tromper. La première consiste à accepter l’hypothèse nulle alors qu’elle est fausse : cela revient à acquitter un coupable faute de preuve. La seconde est le rejet de l’hypothèse nulle alors qu’elle est vraie : on condamne quelqu’un d’innocent.

Définition : on appelle :

· erreur de première espèce, l’erreur consistant à rejeter l’hypothèse nulle alors qu’elle est vraie ;

· erreur de seconde espèce, l’erreur consistant à accepter l’hypothèse nulle alors qu’elle est fausse.

Comment procède un tribunal ? La signification de l’expression « erreur judiciaire », dont l’inculpé est toujours la victime, montre bien qu’en pratique, on cherche à limiter le risque de condamner un innocent (du moins, on peut le souhaiter). De même, en statistique, on limite le risque de rejeter l’hypothèse nulle alors qu’elle est vraie.

Il est bien clair qu’en limitant ce risque, on augmente l’autre : plus on acquitte facilement les accusés, moins on condamne d’innocents, mais plus on acquitte de coupables. La relation n’est pas fonctionnelle ; nous y revenons en fin de chapitre.

Définition : on appelle :

· risque de première espèce la probabilité de rejeter l’hypothèse nulle alors qu’elle est vraie (erreur de première espèce). On le note a.

· risque de seconde espèce la probabilité d’accepter l’hypothèse nulle alors qu’elle est fausse (erreur de seconde espèce). On le note b.

		Hypothèse	vraie
		H0	H1
Hypothèse	H0	pas d’erreur	Erreur de 2^ième espèce Risque b
acceptée	H1	Erreur de 1^ère espèce Risque a	pas d’erreur

Tableau 1.6 : erreurs et risques suivant la décision.

1.2 Règle de décision.

Après avoir défini les hypothèses, ou simplement l’hypothèse nulle, la démarche consiste à étudier les résultats d’une enquête aléatoire : si ces résultats paraissent en contradiction avec l’hypothèse nulle, cette dernière sera considérée comme fausse. Sinon, on continuera à la supposer vraie : c’est un « raisonnement par l’absurde ».

Les résultats de l’enquête sont en général résumés par un nombre calculé sur les observations et appelé statistique.

Définition : dans un test statistique, la variable aléatoire que l’on utilise pour contrôler l’hypothèse nulle est appelée elle-même statistique.

L’hypothèse nulle sera remise en cause si cette statistique possède une propriété qu’elle ne devrait pas avoir : on retrouve l’analogie avec le solde d’un compte bancaire : s’il est anormalement élevé, c’est une forte présomption de culpabilité.

Un exemple intuitif :

Hypothèse nulle H₀ : Dominique est une femme

Hypothèse alternative H₁ : Dominique est un homme

Statistique : pointure

1) Observation : Dominique chausse du 43.

Décision : Peu de femmes chaussant du 43, on peut considérer que l’observation est en contradiction avec H₀. Donc Dominique n’est pas une femme (rejet de H₀) , c’est un homme (acceptation de H₁).

2) Observation : Dominique chausse du 40.

Décision : La pointure 40 est fréquente chez les femmes. On peut considérer que l’observation n’est pas contradictoire avec H₀. Donc Dominique peut être une femme (acceptation de H₀ et rejet de H₁).

3) Discussion : la décision statistique prise à l’issue du test est discutable. Plusieurs hypothèses ont été émises implicitement :

· il n’y a que des hommes et des femmes passant sur la plage, pas d’enfant.

· il y a autant d’hommes que de femmes.

Un raisonnement hâtif peut donc conduire à une décision erronée (cf. exercice 5 du chapitre 4). Cette discussion caractérise la problématique de la statistique bayesienne.

Définition : on appelle région critique d’un test statistique l’ensemble des valeurs observées de la statistique provoquant le rejet de l’hypothèse nulle.

Dans la pratique, c’est le risque de première espèce qui précise les bornes de la région critique.

Exemple : supposons que Dominique chausse du 41 ou plus. La proportion de femmes chaussant du 41 ou plus étant inférieure à 5%, on rejette l’hypothèse nulle. Mais on ne peut pas être totalement sûr que Dominique n’est pas une femme, puisque c’est le cas de 2% environ des femmes. Dans 2% des cas, on va donc commettre l’erreur consistant à rejeter l’hypothèse nulle alors qu’elle est vraie. C’est cette faible proportion qui est le risque de première espèce, et que l’on cherche à limiter.

Comment donc choisir ce risque a ? Le risque est en quelque sorte la faiblesse de la preuve : plus le risque est grand, plus la preuve est faible et inversement. On choisira un risque d’autant plus faible, c’est-à-dire une preuve d’autant plus forte, que l’hypothèse alternative est moins vraisemblable. La démarche scientifique générale est d’ailleurs claire : une expérience physique ou chimique est d’autant plus répétée, vérifiée et contrôlée, c’est-à-dire qu’on choisit un risque d’autant plus faible - une preuve d’autant plus forte, que cette expérience remet en cause une théorie jusque-là considérée comme satisfaisante. Le choix de ce risque est équivalent à celui du niveau de confiance dans l’estimation par intervalle de confiance (chapitre 5).

Il y a des valeurs classiques :

Risque de première espèce	hypothèse alternative
0.001 (0.1%)	quasiment impossible
0.01 (1%)	très peu vraisemblable
0.05 (5%)	peu vraisemblable
0.1 (10%)	possible

Tableau 2.6 : choix du risque de première espèce.

1.3 Tests élémentaires.

Les tests sur le coefficient d’asymétrie et d’aplatissement sont très simples et fournissent de bons exemples d’application immédiate.

On définit les hypothèses suivantes :

· hypothèse nulle H₀ : la loi de la v.a. est la loi normale.

· hypothèse alternative H₁ : la loi de X n’est pas la loi normale.

Si l’hypothèse nulle est vraie, les valeurs théoriques des coefficients d’asymétrie et d’aplatissement sont g_as = 0 et g_ap = 3.

On étudie un échantillon (X_i) i=1, …, n, de la v.a. X. Les coefficients d’asymétrie c_as et d’aplatissement c_ap de l’échantillon observé devraient être proches de 0 et de 3 si la loi est normale : ce sont les statistiques du test.

Un coefficient d’asymétrie c_as très différent de 0 est donc en contradiction avec la loi normale. Pour décider s’il est très différent de 0, on choisit un risque de première espèce a, et on en déduit la région critique à l’aide d’une table statistique.

Cette table donne, pour n = 50 observations et a = 0.05 : 0.534. Cela signifie que la probabilité de l’événement {c_as < -0.534}È{c_as > 0.534} est égale à 0.05 si la loi est normale. La région critique est :

RC = ] - ¥, -0.534 [ È ] 0.534,+ ¥ [

De la même façon, un coefficient d’aplatissement très différent de 3 est en contradiction avec l’hypothèse de la loi normale. Ce coefficient n’étant pas réparti symétriquement, la table donne deux valeurs. Pour n = 50 et a = 0.05, la région critique est :

RC = ] 0, 2.15 [ È ] 3.99, + ¥ [

La décision est donc la suivante : on considère que la loi de la v.a. X n’est pas la loi normale si l’un des coefficients observés appartient à la région critique correspondante[2].

Exemple : les coefficients d’asymétrie et d’aplatissement des variables des données Euromarket sont les suivants :

	coefficient d’asymétrie	coefficient d’aplatissement
âge	1.108	4.496
revenu	1.590	5.064
achats	1.160	3.859
enfants	-0.070	2.418

Dans ces données constituées des 50 clients d’Euromarket, seule la variable nombre d’enfants peut être considérée comme normale avec un risque de première espèce de 5%. C’est une variable discrète. Cette propriété signifie ici que la v.a. X dont la densité par intervalle définie par :

d_i = f_i dans l’intervalle ] i – 0.5, i + 0.5 [ iÎ N

f_i étant la proportion observée de familles de i enfants, est approximativement une v.a. suivant la loi normale de même moyenne et de même variance que la variable nombre d’enfants.

Figure 1.6 : diagramme du nombre d’enfants et densité de la loi normale

2. Test d’ajustement du c² de Pearson.

2.1 Cas d’une variable discrète.

On considère le cas d’un dé à 6 faces. Les hypothèses concernent  la loi de probabilité de la face obtenue en lançant le dé.

· Hypothèse nulle H₀ : cette loi est la loi uniforme discrète sur {1, …, 6} (le dé est parfaitement équilibré).

· Hypothèse alternative : ce n’est pas la loi uniforme discrète sur {1, …, 6} (les faces n’ont pas toutes la même probabilité, et le dé est mal équilibré).

L’expérience consiste à lancer le dé n fois (100, 200 ou 1000 fois par exemple). On compare ensuite les proportions f_i (i = 1, …, 6) observées aux probabilités théoriques p_i (i = 1, …, 6) de chaque face du dé. Elle est généralisable à toutes les v.a. discrètes ou qualitatives :

· L’hypothèse nulle est définie par la loi de probabilité supposée vraie, dont la densité est définie par la suite (p_i), i = 1, …, k (chapitre IV, paragraphe 2.3).

· L’hypothèse alternative est que la loi de probabilité n’est pas égale à la précédente, sans plus de précision.

Pour contrôler l’hypothèse nulle, on compare les proportions n_i/n observées sur un échantillon de taille n aux probabilités théoriques p_i..

Exemple : on donne le nombre de faces obtenues en lançant le dé 100 fois :

i = 1	i = 2	i = 3	i = 4	i = 5	i = 6
16	15	18	14	19	18

Si le dé est parfaitement équilibré, on devrait obtenir des proportions f_i = n_i/n de l’ordre de 1/6 = 0.1667. Il est évident que cette proportion de 1/6 ne sera jamais obtenue exactement, et que l’écart peut provenir du hasard ou d’un mauvais équilibrage du dé.

On doit donc mesurer l’écart entre les proportions n_i/n obtenues et les probabilités p_i, par une statistique, et donner une règle, appelée règle de décision, permettant de considérer ou non que l’écart est dû au hasard.

Définition : on appelle X² la statistique choisie pour comparer les proportions observées aux probabilités théoriques :

			k			k
X^2	=	n	S	(ni/n – pi)^2 / pi	=	S	(ni – n pi)^2 /n pi
			i = 1			i = 1

Reprenons l’exemple du dé : s’il est bien équilibré, les proportions n_i/n convergent vers les probabilités p_i = 1/6, et la valeur prise par la v.a. X² est faible. Inversement, si la valeur prise par X² est élevée, on peut penser que le dé n’est pas bien équilibré puisque les proportions sont différentes de 1/6.

Le raisonnement est exactement identique dans le cas général, et nous allons déterminer une valeur x_a² indiquant la limite à partir de laquelle nous considérons que la valeur de X² est trop élevée pour que l’hypothèse nulle soit vraie.

Pour déterminer cette valeur x_a², on utilise le risque de première espèce a, qui est la probabilité de rejeter l’hypothèse nulle alors qu’elle est vraie (considérer le dé pipé alors qu’il est bien équilibré).

La valeur x_a² est donc telle que :

P(X²>x_a²) = a

Cette valeur dépend bien entendu de la loi de probabilité de la v.a. X² : cette loi est approximativement la loi du c² définie dans le chapitre 4.

Théorème : si les termes n x p_i sont tous supérieurs ou égaux à 5,  la loi de probabilité de la v.a. X² est approximativement la loi du c² de degré de liberté n = k – l – 1, où k est le nombre de valeurs possibles des observations et l le nombre de paramètres calculés à l’aide des données.

Lorsque la condition de convergence n x p_i > 5 n’est pas toujours satisfaite, il faut regrouper les valeurs qui ne la vérifient pas avec d’autres, en cumulant les probabilités correspondantes.

Conséquence : la valeur x_a² telle que la proportion des valeurs de X² supérieures à x_a² soit égale à a est donnée dans la table statistique de la loi du c².

Définition : la région critique du test d’ajustement du c² est l’intervalle :

RC = [x_a², + ¥ [

dans lequel x_a² est déterminé de façon que P(X²>x_a²) = a.

Exemple numérique : dans le cas du dé, le degré de liberté est égal à n = 5, et, pour a = 0.05, la table statistique donne x_a² = 11.07. Un dé bien équilibré donnera donc rarement (dans 5% des cas) une valeur x² de X² supérieure à 11.07.

Figure 2.6 : densité de la loi du c² (n = 5) et région critique (a = 5%)

Les calculs sur le tableau précédent sont les suivants :

x^2	=	(16 – 100/6)^2/(100/6)	+	(15 – 100/6)^2/(100/6)	+	(18 – 100/6)^2/(100/6)
	+	(14 – 100/6)^2/(100/6)	+	(19 – 100/6)^2/(100/6)	+	(18 – 100/6)^2/(100/6)
x^2 = 1.16

Tous les termes de la forme n x pi sont égaux à 100 / 6 = 16.66 et donc supérieurs à 5 : la condition de convergence est satisfaite. La valeur X² obtenue 1.16 est inférieure à 11.07 : on peut considérer que le dé est bien équilibré. Plus exactement, les 100 lancers n’ont pas permis de montrer si le dé est mal équilibré : l’accusé n’est peut-être pas coupable.

Définition: on appelle probabilité critique (en anglais « p-value ») la probabilité que la valeur observée x² de la statistique X² soit dépassée.

Cette probabilité critique est l’aire de l’ensemble des points d’abscisses supérieures à la valeur observée x² compris entre la courbe représentant la densité, l’axe des abscisses.

Lorsqu’elle est supérieure au risque de première espèce a, cela signifie que x_a² est supérieure à la valeur observée x², qui n’appartient donc pas à la région critique (figure 2.6).

Dans le cas contraire, x² appartient à la région critique et on rejette l’hypothèse nulle.

Exemple : le programme donne P(X² > 1.16)= 0.94716. La probabilité critique est donc supérieure au risque de première espèce a = 0.05. La table statistique n’est pas indispensable pour conclure puisque cela signifie que x_a² est supérieur à 1.16, comme on peut le voir sur la figure 2.6 : on accepte l’hypothèse nulle.

2.2 Cas d’une variable continue.

Considérons maintenant le cas des v.a. continues :

· L’hypothèse nulle est définie par une densité théorique de X ;

· L’hypothèse alternative est une loi non précisée de X.

La procédure est la suivante :

· On définit des intervalles I_i, i = 1, …, k, dont on calcule les probabilités théoriques p_i = P( XÎI_i ).

· On répartit les n observations de la v.a. X dans ces intervalles.

· On en déduit la densité observée égale à la suite des proportions n_i/n, où n_i est le nombre d’observations classées dans l’intervalle I_i.

· On applique la procédure du paragraphe 2.1 pour comparer p_i et n_i/n.

Remarques :

· Les classes seront choisies toujours a priori, avant le calcul de X², et de préférence de probabilité égale.[3]

· Le calcul des probabilités théoriques peut exiger préalablement l’estimation de paramètres de la densité théorique.

· Deux densités différentes peuvent donner la même densité par intervalle. L’hypothèse nulle ne les distingue pas l’une de l’autre et le test donne la même valeur de X² et par suite , pour un même degré de liberté, la même décision.

Exemple : nous voulons savoir si l’âge est réparti suivant une loi normale dans la clientèle de l’hypermarché EUROMARKET. On choisit comme risque de première espèce a = 0.05.

La figure 3.6 permet de comparer la densité de la loi normale à l’histogramme, mais ne donne pas d’indications quantitatives et ne prend pas en compte le nombre d’observations.

Figure 3.6 : histogramme de l’âge (8 classes)

et densité de la loi normale de mêmes paramètres

Nous effectuons ci-dessous l’ajustement en considérant la répartition de l’âge des 50 clients d’EUROMARKET en 8 classes de même longueur.

	Classe	Effectifs en %
1	[24.0, 29.5[	12
2	[29.5, 35.0[	16
3	[35.0, 40.5[	34
4	[40.5, 46.0[	20
5	[46.0, 51.5[	8
6	[51.5, 57.0[	2
7	[57.0, 62.5[	4
8	[62.5, 68.0[	4

Répartition des 50 observations dans les huit classes

Pour calculer les probabilités théoriques p_i de chaque intervalle, il faut connaître les paramètres de la densité théorique, c’est-à-dire la moyenne et l’écart type dans le cas de la loi normale. Les valeurs calculées sur les données individuelles sont m = 40.06 et s = 9.341 : ce sont ces valeurs qui seront utilisées pour calculer les probabilités théoriques.

Une loi normale peut prendre des valeurs allant de -¥ à+ ¥. Il faut donc considérer comme première classe ]-¥ , 29.5[ et comme dernière classe [62.5, +¥ [. On obtient :

	Classes	probabilités	condition
1	[-¥, 29.5[	0.12914	6.46
2	[29.5, 35.0[	0.16488	8.24
3	[35.0, 40.5[	0.22477	11.24
4	[40.5, 46.0[	0.21879	10.94
5	[46.0, 51.5[	0.15208	7.60
6	[51.5, 57.0[	0.07547	3.77 *
7	[57.0, 62.5[	0.02673	1.34 *
8	[62.5, + ¥ [	0.00815	0.41 *

Classes avant regroupement

L’étoile * indique que dans les classes 6, 7 et 8 la condition de convergence n x p_i ³5 n’est pas vérifiée. On doit donc réunir ces classes de façon à vérifier cette condition :

	Classe	probabilités	condition	proportions
1	[-¥, 29.5[	0.12914	6.46	0.12
2	[29.5, 35.0[	0.16488	8.24	0.16
3	[35.0, 40.5[	0.22477	11.24	0.34
4	[40.5, 46.0[	0.21879	10.94	0.20
5	[46.0, 51.5[	0.15208	7.60	0.08
6 = 6+7+8	[51.5, + ¥ [	0.11035	5.52	0.10

Classes après regroupement

Les probabilités des classes étant proches les unes des autres, la répartition paraît satisfaisante. Le nombre de paramètres estimés est égal à 2 (moyenne et écart-type). Le degré de liberté est donc fixé à n =6 –2- 1 = 3. On en déduit la région critique (a = 0.05) :

RC = [7.815, + ¥ [

Le calcul de X² donne :

x² = 50 x [(0.12 – 0.12914)² + (0.16 – 0.16488)² + (0.34 – 0.22477)²

+ (0.20 – 0.21879)² + (0.08 – 0.15208)² + (0.10 – 0.11035)² ]

Soit :

x² = 4.8305

La valeur observée x² de X² n’appartient pas à la région critique RC. On accepte donc l’hypothèse que l’âge est réparti dans la clientèle totale suivant une loi normale. Cela signifie plus précisément que les observations effectuées ne remettent pas en cause cette hypothèse.

La probabilité critique de la valeur observée est supérieure au risque a choisi :

P(X²> 4.8305 )= 0.18289 > 0.05

La décision est évidemment la même.

3. Test d’indépendance du c² de Pearson.

Le test d’indépendance du c² de Pearson permet d’étudier la liaison entre deux variables qualitatives X et Y que l’on a observées sur des unités statistiques que l’on suppose tirées au hasard au sein d’une population. Ces variables aléatoires se présentent sous la forme de questions proposant k et l réponses possibles, une seule étant choisie. Nous avons étudié dans le chapitre 4 la loi de probabilité du couple (X, Y). Nous en reprenons les notations.

3.1 Tableau des effectifs théoriques.

La démarche est la suivante :

· L’hypothèse nulle est définie par l’indépendance des deux v.a. X et Y ;

· L’hypothèse alternative n’est pas précisée ;

L’expérience consiste à tirer au hasard un échantillon d’unités statistiques et à en comparer la répartition à la répartition « théorique » déduite de l’indépendance supposée des variables.

Définition : on appelle répartition théorique des unités statistiques d’un échantillon suivant deux critères la répartition que l’on aurait si ces deux critères étaient indépendants.

La procédure consiste à comparer ces répartitions :

· si la répartition théorique et la répartition observée sont voisines l’une de l’autre, on peut considérer que la répartition observée ne remet pas en cause l’indépendance des v.a. X et Y considérées.

· si les deux répartitions présentent de grandes différences, c’est que l’indépendance des deux v.a. X et Y étudiées est contestable.

Le calcul de la répartition théorique découle de l’hypothèse d’indépendance : les réponses données à chaque question X ou Y sont réparties théoriquement de la même façon quelle que soit la réponse donnée à la seconde. L’effectif théorique n_i,j’ est donné par la formule :

n_i,j’ = n p_i. p._j = n_i. n._j / n

dans laquelle les termes n_i., n._j sont les effectifs marginaux calculés sur le tableau de données et p_i. et p._j les proportions marginales.

Exemple : nous étudions le tableau donnant la répartition de 200 étudiants suivant le sexe et la couleur des cheveux, en supposant qu’ils ont été tirés au hasard dans l’ensemble des étudiants de l’université. Le tableau est le suivant :

	Cheveux blonds (j = 1)	Cheveux bruns (j = 2)	Autre couleur (j = 3)	Effectifs marginaux
Masculin ( i = 1)	25	51	17	n1. = 93
Féminin ( i = 2)	62	31	14	n2. = 107
Effectifs marginaux	n.1 = 87	n.2 =82	n.3 = 31	200

S’il y a indépendance entre le sexe et la couleur des cheveux, la répartition théorique des étudiants est la suivante :

	Cheveux blonds	Cheveux bruns	Autre couleur
Masculin	40.46	38.13	14.42
féminin	46.54	43.87	16.58

Par exemple, l’effectif théorique d’étudiantes au cheveux blonds est 107 x 87 / 200 = 46.54.

3.2 Test d’indépendance du c² de Pearson.

Pour comparer les effectifs théoriques et les effectifs observés, on utilise la même statistique que dans le cas du test d’ajustement.

Définition : la statistique X² utilisée pour comparer les répartitions théoriques et observées est définie par :

		p	q
X^2	=	S	S	(ni,j - ni,j’)^2 / ni,j’
		i = 1	j = 1

L’hypothèse d’indépendance est contestable lorsque les effectifs observés n_i,j sont très différents des effectifs théoriques n_i,j’, donc lorsque X² prend de grandes valeurs. Il reste à décider à partir de quelle valeur X² peut être considéré comme grand. Pour cela, on utilise la loi de X² sous l’hypothèse d’indépendance qui est la loi du c² de degré de liberté n :

n = (p - 1) ( q - 1 )

Ce degré de liberté est calculé comme le précédent, par la formule n = k – l – 1 :

· le nombre de valeurs possibles est k = p x q

· les paramètres estimés sont les lois de probabilités marginales : p – 1 termes pour la loi de X, q – 1 pour la loi de Y puisque la somme des probabilités marginales est égale à 1. On a donc l = (p – 1) + (q – 1)

· Le degré de liberté est égal à : p x q – (p – 1) – (q – 1) - 1 = (p - 1) ( q - 1 )

Définition : la région critique du test d’indépendance du c² est l’intervalle [c_a² , + µ [, c_a² étant le nombre auquel une proportion a de X² est supérieure si l’hypothèse d’indépendance est vraie.

Les observations remettent donc en cause l’hypothèse d’indépendance si X² prend une valeur supérieure à x_a² ; on rejette alors l’hypothèse d’indépendance.

Supposons maintenant que nous ayons rejeté l’hypothèse d’indépendance. Pour expliquer la liaison entre les variables, on examine l’observation x² de la statistique X², et l’on recherche, parmi les termes dont il est la somme, ceux qui sont les plus grands : les indices i et j correspondants indiquent les modalités des questions X et Y dont les effectifs théoriques et observés sont les plus différents. Ce sont ces modalités qui provoquent la liaison entre les deux riables.

Exemple : chaque terme du tableau ci-dessous indique la valeur du terme correspondant dans la somme donnant le X² appelé parfois « contribution au x² » :

5.907 = (25-40.46)² / 40.46	4.344 = (51-38.13)² /38.13	0.462 = (17-14.42)²/14.42
5.136 = (62-46.54)²/46.54	3.776 = (31-43.87)²/43.87	0.401 = (14-16.58)²/16.58

La valeur x² de X² est la somme des termes du tableau. On obtient :

x² = 20.02

Une liaison entre la couleur des cheveux et le sexe n’étant pas du tout invraisemblable, nous choisissons un risque raisonnable a égal à 5%.

Figure 4.6 : densité de la loi du c² (n = 2)

Le degré de liberté est égal à (2-1) x (3-1), soit 2, et la région critique est définie par [5.991, + µ [ (on notera la différence entre les densités du c² de degré de liberté 2 et 5, cf. figure 2.6 et 4.6). La valeur x² de X² appartient à la région critique. On rejette donc l’hypothèse d’indépendance.

Les valeurs les plus grandes du tableau indiquent que la liaison est due à la couleur brune ou blonde et le sexe des étudiants. La modalité « autre couleur » n’intervient pas.

4. Test sur le coefficient de corrélation linéaire.

Nous avons constaté chez les 50 clients du supermarché une relation entre l’âge et le revenu. La question que l’on se pose maintenant est de savoir si cette relation existe sur l’ensemble des clients, ou si elle n’est due qu’aux tirages au hasard que l’on a effectués. Les données sont ici quantitatives, et la liaison entre les deux variables est mesurée par le coefficient de corrélation linéaire.

4.1 Hypothèses et erreurs.

La procédure consiste d’abord à vérifier que l’échantillon observé vérifie les propriétés présentées dans le chapitre 4 : théoriquement, le couple (âge, revenu) doit suivre la loi binormale pour que le test sur le coefficient de corrélation soit valide. L’équivalence entre la nullité du coefficient de corrélation et l’indépendance n’est assurée en effet que sous cette condition.

On se limite en pratique à vérifier que les répartitions de l’âge et du revenu ne sont pas trop différentes de la loi normale, par un test d’ajustement du c² ou l’étude des coefficients d’asymétrie et d’aplatissement que nous avons expliquée dans le paragraphe 1.3. Dans le cas contraire, il est possible de transformer les données, en passant par exemple aux logarithmes.

On suppose a priori qu’il n’existe pas de liaison entre les séries : les variables sont supposées « indépendantes ». Le coefficient de corrélation exact et inconnu, que l’on appelle coefficient de corrélation théorique (noté r), est alors nul. Nous choisissons comme hypothèse alternative que le coefficient de corrélation théorique est différent de 0 (on pourrait choisir strictement positif, ou strictement négatif).

· Hypothèse nulle H0 :	r = 0.
· Hypothèse alternative H1 :	r ¹ 0.

Une valeur approchée du coefficient de corrélation théorique est donnée par la valeur observée r de son estimateur empirique. La démarche consistant à définir cet estimateur est strictement la même que celle qui a abouti à la définition des estimateurs empiriques de la moyenne et de la variance.

Définition : l’estimateur empirique du coefficient de corrélation théorique r est la v.a. notée R dont la valeur observée sur un échantillon de couples est le coefficient de corrélation observé r.

Le coefficient de corrélation observé n’a évidemment n’a aucune raison d’être exactement égal à 0 même si l’indépendance des v.a. est vraie. Deux cas peuvent se produire :

· le coefficient de corrélation r est proche de 0. Les données ne contredisent pas l’hypothèse d’indépendance : on accepte l’hypothèse d’indépendance.

· le coefficient de corrélation r est très différent de 0. Il est alors peu vraisemblable que la valeur théorique r soit nulle : on rejette l’hypothèse d’indépendance. 

4.2 Région critique.

Les statisticiens utilisent pour des raisons mathématiques et historiques une v.a. notée F déduite de l’estimateur empirique R du coefficient de corrélation r par la formule suivante :

		R^2
F =	(n-2)	^___________
		(1 – R^2)

La loi théorique de la v.a. F est la loi de Fisher Snedecor que nous avons définie dans le chapitre 4, et qui dépend de deux degrés de liberté, ici n₁ = 1, n₂ = n - 2. Les valeurs utiles sont données dans la table statistique appelée table du F.

Pour n = 50, on trouve n₂ = 48 et on trouve dans la table f_a = 4.04. Un calcul simple donne la valeur du coefficient de corrélation r_a correspondant :

		fa
ra^2	=	––––––––––
		(n – 2) + fa

On trouve :

ra^2 = 0.078

ra = ± 0.28.

La décision peut être aussi prise en fonction de la probabilité critique donnée fréquemment par les programmes.

Exemple : on sait que la liaison entre l’âge et le revenu ne vérifie pas les propriétés nécessaires pour que l’on puisse effectuer un test de Fisher sur le coefficient de corrélation : la liaison n’est pas linéaire et la répartition du revenu ne ressemble pas à la loi normale (cf. figure 2 du chapitre 3). Nous allons limiter notre étude aux clients en activité, et éliminer des données les clients retraités 25, 31 et 43 : il reste 47 unités statistiques.

En ce qui concerne les revenus, nous en considérons ici les logarithmes de façon à obtenir une distribution un peu plus symétrique. Nous admettrons la normalité des lois de probabilité après l’élimination de ces trois u.s..

L’hypothèse nulle considérée est la nullité du coefficient de corrélation théorique r entre l’âge et le revenu. On choisit donc un risque de première espècea égal à 0.05. On en déduit la région critique sur la statistique F :

RC = [4.05, +¥ [.

Le coefficient de corrélation entre l’âge et le logarithme des revenus calculé sur les 47 observations est égal à r = 0.6846, ce qui donne r² = 0.469 et f = 39.746.

On constate évidemment que f appartient à cette région critique. La liaison entre l’âge et le revenu constatée sur l’échantillon observé ne peut donc pas être due au hasard : elle existe très vraisemblablement dans l’ensemble des clients de l’hypermarché et on peut considérer que r est différent de 0.

5. Tests sur la moyenne et la variance.

Nous supposerons comme dans le chapitre précédent que les observations sont réparties régulièrement et symétriquement par rapport à leur moyenne, plus précisément qu’elles obéissent à la loi normale.

5.1 Tests sur la moyenne.

Le premier test que nous étudions consiste à décider entre les hypothèses suivantes :

H0 : m = m0

H1 : m ¹ m0

La question posée est la suivante : les observations remettent-elles en cause l’égalité de la moyenne théorique m à la valeur spécifiée m₀ ?

Nous avons déjà répondu à cette question dans le chapitre précédent : l’estimation par intervalle de confiance donne l’ensemble des valeurs possibles de la moyenne théorique m compte tenu des observations effectuées et du niveau de confiance choisi.

Règle de décision : pour un risque de première espèce a,

· On accepte l’hypothèse nulle si la valeur m₀ appartient à l’intervalle de confiance de niveau de confiance 1 - a ;

· On rejette l’hypothèse nulle sinon.

Exemple : l’objectif fixé par les responsables nationaux de l’enseigne Euromarket est un montant moyen des achats égal à 420F. Le directeur commercial s’inquiète du montant moyen observé (316.95F) dans son hypermarché et veut donc vérifier si cette valeur montre effectivement une différence. Pour un niveau de confiance de 95%, l’intervalle de confiance est le suivant :

[ 257.173, 376.717 ]

On rejette donc l’hypothèse nulle avec un risque de première espèce de 5% et le montant moyen des achats des clients d’EUROMARKET peut être considéré comme nettement inférieur à la valeur fixée à 420F. L’objectif n’est pas atteint.

Une autre façon (équivalente) d’effectuer le test est de déterminer la région critique. On sait que, si l’hypothèse nulle est vraie, la v.a. T ci-dessous suit la loi de Student de degré de liberté n-1 (cf. chapitre 5):

		M – m0
T	=	^__________
		S/Ö(n-1)

Lorsque la v.a. T prend une très grande valeur, la moyenne m est vraisemblablement différente de m₀ : on rejette l’hypothèse d’indépendance. La région critique est donc de la forme :

]-¥, m₀ - t_a s/(n - 1)^1/2[ È ] m₀ + t_a s/(n - 1) ^1/2 , +¥ [

les bornes de la région critique t_a étant définies par la relation :

P(½T½> t_a ] = a

Le calcul précédent demande que l’on connaisse la valeur vraie de la moyenne, ce qui n’est pas toujours le cas. Par exemple, la moyenne des achats d’un autre hypermarché (410F) peut être connue elle aussi par sondage auprès d’une partie de la clientèle : le test précédent n’est pas applicable pour comparer ces deux moyennes.

On considère maintenant deux v.a. X₁ et X₂, observées sur deux échantillons de taille n₁ et n₂. Les hypothèses sont alors les suivantes, en notant  m₁ et m₂ les moyennes théoriques des achats :

H0 : m1 = m2

H1 : m1 ¹ m2

Le test consiste à déterminer si les observations remettent en cause l’égalité des moyennes m₁ et m₂ .

Le calcul est plus compliqué. On note M₁ et S₁² les estimateurs empiriques de la moyenne et la variance dans le premier échantillon de taille n₁, M₂ et S₂² dans le second échantillon de taille n₂. Le problème est de comparer M₁ et M₂. On calcule pour cela la valeur u de la statistique U :

		M1 - M2
U	=	––––––––––––––––––––
		[S1^2/(n1-1) + S2^2/(n2-1)]^1/2

Une grande valeur absolue de la v.a. U signifie évidemment que M₁ et M₂ ont pris des valeurs très différentes : on rejettera l’hypothèse H₀ d’égalité si la valeur absolue ½u½est trop grande pour que l’égalité des moyennes soit vraisemblable.

Lorsque les moyennes théoriques sont égales et que la taille des échantillons est suffisante, on peut considérer que U suit approximativement la loi normale centrée réduite. On en déduit la valeur u_a en fonction du risque de première espèce choisi , de façon que :

P(½U½> u_a ) =a

Définition : la région critique de la statistique U du test de comparaison de moyennes est de la forme :

RC = ] - ¥, -u_a] U [u_a, + ¥ [

u_a étant calculé de façon que :

P(½U½> u_a ) =a

la v.a. U suivant la loi normale centrée réduite.

Exemple : la moyenne des achats de l’autre hypermarché (410F) a été calculée sur 100 clients. La variance des achats calculée sur ces 100 clients est égale à 35401.01.

On en déduit :

		316.95 – 410
T	=	^__________________________________________	=	– 2.65
		[ 42902.47 / 49 + 35401.01 / 99 ]^1/2

Pour un risque de première espèce a = 0.05, on a u_a = 1.96. La valeur observée t appartient à la région critique ( ç t ç > 1.96) et on rejette donc l’hypothèse nulle : la différence entre les deux moyennes n’est vraisemblablement pas due uniquement au hasard.

Répétons que l’utilisation de ce test est justifiée lorsque les variables suivent la loi normale et que leurs variances théoriques peuvent être considérées comme égales (cf. ci-dessous). Cette dernière condition doit être vérifiée surtout lorsque les échantillons sont de faibles effectifs.

5.2 Tests sur la variance.

Le test d’égalité de la variance d’une population à une valeur spécifiée est lui aussi équivalent à l’estimation par intervalle de confiance.

Il consiste à décider entre les hypothèses suivantes :

H0 : s^2= s0^2

H1 : s^2 ¹ s0^2

La question posée est la suivante : les observations remettent-elles en cause l’égalité de la variance théorique s² à la valeur spécifiée s₀² ?

Règle de décision : pour un risque de première espèce a,

· On accepte l’hypothèse nulle si la valeur s₀² appartient à l’intervalle de confiance de niveau de confiance 1 - a ;

· On rejette l’hypothèse nulle sinon.

établissons la région critique du test. On rejette l’hypothèse nulle lorsque la valeur observée de la variance empirique S² est très différente de la valeur s₀², donc lorsque la v.a. X² = n S²/s₀² prend une valeur anormalement petite (inférieure à c_a²) ou anormalement grande (supérieure à c_1-a²). Les bornes de la région critique c_a² et c_1-a² sont définies par la relation :

P(X^2 < ca^2 ) = a/2

P(X^2 > c1-a^2 ) = a/2

la statistique X² suivant la loi du c² de degré de liberté n-1.

La région critique est donc de la forme :

RC = [0, c_a²] È [c_1-a², + ¥ [

Exemple : nous supposons que la loi de probabilité de la v.a. âge est la loi normale (en éliminant les trois clients retraités) et testons l’hypothèse H₀ : s² =s₀^{2 =} 50.

La valeur observée sur les 47 clients est s² = 47.86. On en déduit :

X² = 47 x 47.86 / 50 = 44.99

Nous choisissons comme risque de première espèce a = 0.05. La table donne directement pour le degré de liberté n = 46 :

ca^2 = 29.160	tel que P(X^2<ca^2 ) =0.025
c1-a^2 = 66.617	tel que P(X^2>c1-a^2 ) =0.025

La région critique est : RC = [0, 29.160 ] È [66.617, + ¥ [. La valeur observée n’appartient pas à la région critique et on accepte l’hypothèse nulle.

En déterminant l’ensemble des valeurs s² telles que l’on accepte l’hypothèse nulle, on retrouvera l’intervalle de confiance déterminé dans le chapitre 5. On pourra examiner aussi la figure 11 du chapitre 5.

De la même façon que nous avons comparé deux moyennes entre elles, nous allons comparer deux variances.

On considère maintenant deux v.a. X₁ et X₂, observées sur deux échantillons de taille n₁ et n₂. On suppose que ces deux v.a. suivent la loi normale et sont indépendantes. Il s’agit de comparer leurs variances s₁² et s₂².

S₁² et S₂² étant les estimateurs empiriques des variances s₁² et s₂², on sait que les v.a. n₁ S₁² / s₁² et n₂ S₂²/s₂² suivent une loi du c² de degré de liberté n₁-1 et n₂-1. Les mathématiques nous donnent la loi du rapport :

Théorème : la loi de la v.a. F ci-dessous est la loi de Fisher de degrés de liberté n₁-1 et n₂-1.

		n1 S1^2 / s1^2		n2 - 1
F	=	^_____________	x	^_______
		n2 S2^2/ s2^2		n1 - 1

Considérons maintenant les hypothèses suivantes :

H0 : s1^2= s2^2 = s^2

H1 : s1^2 ¹ s2^2

Si l’hypothèse nulle est vraie, on a :

		n1 S1^2		n2 – 1		n1 S1^2		n2 S2^2
F	=	^_________	x	^________	=	^_________	/	^________
		n2 S2^2		n1 - 1		n1 - 1		n2 – 1

et F devrait être proche de 1 puisque le numérateur et le dénominateur du rapport ci-dessus sont des estimateurs sans biais de la même variance s². Si la v. a. F prend une très grande valeur ou est très proche de 0, on rejette l’hypothèse nulle. La région critique est de la forme :

RC = ]0, f_a[ È ] f_1-a, + ¥ [

les bornes f_a et f_1-a étant choisies dans la table de Ficher Snedecor de façon que :

P(F< fa) = a/2

P(F> f1-a) = a/2

Exemple : Pour contrôler l’égalité des moyennes des achats des deux hypermarchés, nous avons supposé que les variances théoriques étaient égales. Nous le vérifions ci-dessous, en supposant que les lois sont normales . Les variances observées des achats sont égale à :

s₁² = 42902.47 (n₁ = 50) s₂² = 35401.01 (n₂ = 100)

On en déduit :

		50 x 42902.47 / 49
f	=	^_______________________	=	1.2243
		100 x35401.01 / 99

Nous choisissons comme risque de première espèce a = 0.02. Les degrés de liberté sont n₁ = 49 et n₂ = 99.La table donne directement f_1-a = 1.73.

Pour calculer f_a, il faut considérer la v.a. 1/F , qui suit la loi de Fisher de degrés de liberté n₁ = 99 et n₂ = 49. On a :

P(1/F>1/fa) = 0.01

Û

1/fa = 1.82

Û

fa = 0.549

La région critique est donc : RC = ]0, 0.549 [ ] 1.73, + ¥ [.

La valeur observée n’appartient pas à cette région critique et on accepte l’hypothèse d’égalité des variances.

5.3 Introduction à la fonction puissance.

Définition : on appelle puissance d’un test la probabilité p de rejeter l’hypothèse nulle quand elle est fausse.

La puissance est liée au risque de seconde espèce de façon évidente :

p = 1 – b

puisque le risque de seconde espèce est la probabilité d’accepter l’hypothèse H₀ quand elle est fausse.

Dans les tests présentés précédemment, l’hypothèse alternative n’est pas précisée, et, par suite, on ne peut déterminer analytiquement la loi de probabilité de la v.a. considérée en supposant l’hypothèse alternative vraie. On ne peut donc pas évaluer analytiquement la puissance. Le test sur la variance donne une occasion de présenter simplement la notion de fonction puissance.

Pour définir la puissance du test, nous allons modifier les hypothèses et fixer une valeur s₁² à la variance dans le cas de l’hypothèse alternative. Les hypothèses sont alors les suivantes :

H0 : s^2 = s0^2

H1 : s^2 = s1^2

Nous allons pouvoir maintenant calculer la puissance du test, ou, ce qui est équivalent, le risque de seconde espèce.

On accepte l’hypothèse nulle lorsque la v.a. n S²/s₀² n’appartient pas à la région critique. Le risque b est donc la probabilité de l’événement ci-dessous :

					n S^2
b	=	P	( ca^2	<	––––	<	c1-a^2 )
					s0^2

lorsque la variance de la v.a. X est égale à s₁² .

Lorsque l’hypothèse alternative est vraie, on ne connaît pas la loi de la v.a. n S² / s₀² : c’est la v.a. n S² / s₁² qui suit la loi du c² de degré de liberté égal à n –1. Nous avons :

n S^2		n S^2		s1^2
–––––––	=	–––––––	x	–––––––
s0^2		s1^2		s0^2

On en déduit le risque de seconde espèce :

					n S^2
b	=	P	( ca^2	<	––––	<	c1-a^2 )
					s0^2
					n S^2s1^2
	=	P	( ca^2	<	––––––	<	c1-a^2 )
					s0^2s1^2
			ca^2s0^2		n S^2		c1-a^2s0^2
	=	P	( ––––––	<	––––	<	––––––– )
			s1^2		s1^2		s1^2

On peut calculer cette probabilité lorsque l’hypothèse alternative est vraie puisque la loi de la v.a. n S² / s₁² est connue : c’est la loi du c² de degré de liberté n – 1. On en déduit évidemment la puissance p = 1 – b.

La puissance dépend de deux paramètres : la variance s₁² choisie pour caractériser l’hypothèse alternative, et le risque de première espèce qui intervient dans la région critique. On suppose en général le second fixé, et on définit la fonction puissance comme la fonction qui associe à s₁² la puissance du test.

Il y a un point particulier : pour s₁² = s₀², la fonction puissance est la probabilité de rejeter l’égalité s² = s₀² alors qu’elle est vraie puisque s₁² = s₀². On retrouve donc le risque de première espèce a.

Exemple : nous donnons ci-dessous la fonction puissance du test sur la variance de l’âge. La valeur testée est fixée à s_°² = 50, le risque de première espèce à 0.05, et le nombre d’observations est égal à 47 (cf. exemple précédent). Les valeurs sont données dans le tableau ci-dessous.

La lecture de ce tableau donne le renseignement suivant : la probabilité de rejeter l’hypothèse s₀² = 50 lorsque la vraie valeur est 33.333 est égale à 0.432 pour un risque de première espèce égal à 0.05.

Figure 5.6 : Fonction puissance (s₀² = 50, n = 46, a = 0.05)

Rang	variance vraie	puissance	Rang	variance vraie	puissance
1	20.0000	0.993	11	64.4444	0.263
2	24.4444	0.915	12	68.8889	0.379
3	28.8889	0.699	13	73.3333	0.497
4	33.3333	0.432	14	77.7778	0.606
5	37.7778	0.227	15	82.2222	0.701
6	42.2222	0.109	16	86.6667	0.778
7	46.6667	0.057	17	91.1111	0.839
8	51.1111	0.053	18	95.5556	0.885
9	55.5556	0.090	19	100.0000	0.919
10	60.0000	0.162

Conclusion

Les tests statistiques que nous avons présentés aboutissent à une règle de décision qui mérite toujours d’être examinée de façon critique. Nous n’avons présenté que les méthodes les plus simples, en tentant de montrer les difficultés de raisonnement dues à une absence de réflexion préalable sur la question posée. Une approche beaucoup plus générale des tests a été proposée par Neyman et Pearson. Fondée sur la notion de vraisemblance et sur les propriétés de la fonction puissance : elle sort du cadre de cet ouvrage, comme la statistique bayesienne à laquelle nous avons fait allusion.

Table des matières

1. Généralités sur les tests statistiques. 1

1.1 Notion de test statistique. 1

1.2 Règle de décision. 3

1.3 Tests élémentaires. 5

2. Test d’ajustement du c² de Pearson. 7

2.1 Cas d’une variable discrète. 7

2.2 Cas d’une variable continue. 11

3. Test d’indépendance du c² de Pearson. 14

3.1 Tableau des effectifs théoriques. 14

3.2 Test d’indépendance du c² de Pearson. 15

4. Test sur le coefficient de corrélation linéaire. 17

4.1 Hypothèses et erreurs. 17

4.2 Région critique. 18

5. Tests sur la moyenne et la variance. 20

5.1 Tests sur la moyenne. 20

5.2 Tests sur la variance. 23

5.3 Introduction à la fonction puissance. 25

Conclusion.. 28

---

[1] Ce parallélisme entre la décision d’un tribunal et les tests statistiques n’est pas fortuit. C’est en étudiant ce genre de problème que Condorcet, pendant la Révolution Française, a déterminé le nombre de membres d’un jury et la règle de décision (unanimité, majorité simple, majorité des deux tiers …) afin de minimiser les erreurs judiciaires. Il ne croyait vraisemblablement pas à la façon dont ses résultats étaient appliqués pendant la Terreur puisque après avoir été arrêté, il se suicida avant d’être jugé.

[2] Si l’on tient compte de deux coefficients à la fois, le risque de première espèce est modifié. Il faudrait en toute rigueur choisir a priori un des coefficients suivant la nature de la loi de probabilité supposée vraie sous l’hypothèse alternative (cf. exercice 2).

[3] Kendall et Stuart, The advanced theory of statictics, vol. 2, p. 431, 30.22 (Griffin, London, 1961).