Introduction

L’hypothèse « toutes choses égales par ailleurs » est très fréquemment supposée vérifiée pour interpréter les résultats d’analyses statistiques dans les sciences économiques et sociales. Elle est discutée et même contestée depuis longtemps.

Dans les sciences économiques, on établit des modèles pour que cette hypothèse puisse être considérée comme satisfaite, tout en gardant une certaine prudence dans les prévisions qui sont toujours effectuées sous réserve que le contexte économique dans lequel la série évolue est constant. La mise en place d’une modélisation analogue de données sociales ou humaines est plus difficile et nécessite une description et une critique précises des hypothèses. Ces difficultés ne sont pas sans effet sur les conclusions obtenues en interprétant les résultats des modèles.

Analyse de l’hypothèse.

Imaginons à titre d’exemple une étude sociologique dont l’objectif est de mettre en évidence les relations existant entre le sexe, la catégorie socioprofessionnelle, l’âge, le revenu, le secteur d’activité et l’opinion politique exprimée par le vote Droite/Gauche des électeurs en France.

Pour étudier la relation entre deux des caractères observés, par exemple la catégorie socioprofessionnelle et l’opinion politique, ou le sexe et le revenu, la démarche habituelle consiste à raisonner sous l’hypothèse « toutes choses égales par ailleurs ». Dans la mesure où cette hypothèse est vérifiée, la relation observée est fréquemment interprétée en terme de causalité, malgré des mises en garde (Chauvel, 2001). La statistique n’intervient pas dans cette interprétation, qui ne peut résulter que d’une analyse spécifique aux sciences humaines et sociales : « a statistical relationship, however strong and however suggestive, can never establish a causal connexion : our ideas on causation must come from outside statistics, ultimately from some theory or other. » (Kendall et Stuart, 1961). Le raisonnement statistique n’intervient que dans le choix de la méthode d’analyse (en général, l’analyse de variance ou, ce qui est équivalent, le modèle linéaire, avec des variantes telles que la régression logistique etc.) : nous nous limiterons à cet aspect de la question.

Que signifie précisément la proposition « toutes choses égales par ailleurs, les cadres moyens votent plus à gauche que les cadres supérieurs » ? L’hypothèse vise ici à écarter l’explication de la relation par d’autres critères dont résulteraient simultanément le statut professionnel et l’orientation politique, et à supposer l’existence d’un effet propre de la catégorie socioprofessionnelle sur les choix politiques (ou inversement).

Il faudrait donc théoriquement prendre en compte tous les facteurs intervenant dans l’opinion politique et dans la catégorie socioprofessionnelle des électeurs : non seulement les facteurs précédents (sexe, revenu, âge, secteur d’activité), mais aussi la catégorie socioprofessionnelle des parents, l’ancienneté dans l’entreprise, la mobilité, le lieu d’habitation, la situation familiale… « Pour éviter toute pétition de principe, pour avoir chance d'être averti par quelque indice, même d'une liaison tout étrangère à nos conceptions et à notre attente, nous devons établir une liste de ces éléments et facteurs à examiner qui soit aussi indépendante que possible de toute idée préconçue et de toute théorie, consciente ou inconsciente » (Simiand, 1932). Considérer l’ensemble des facteurs explicatifs des deux variables est évidemment impossible matériellement. Un choix s’impose et les facteurs retenus doivent nécessairement faire partie de l’information observée : il est donc indispensable de prévoir précisément, avant la collecte de l’information, les facteurs à retenir pour disposer de ces données lors de l’analyse des questionnaires.

Dans certains cas, l’hypothèse est intrinsèquement contradictoire. Par exemple, lorsque l’on compare la situation des hommes et des femmes suivant un certain critère, on ne peut introduire comme facteur explicatif de cette situation celle de leurs conjoints (Foucart, 2001). On ne peut en effet supposer l’égalité des conjoints pour démontrer l’inégalité homme/femme qui en est le contraire. Cette impossibilité n’apparaît pas toujours aussi clairement ; elle peut se manifester par des difficultés statistiques dues à des liaisons très fortes entre les facteurs explicatifs, appelées en statistique colinéarités.

Une fois les facteurs explicatifs retenus, respecter l’hypothèse « toutes choses égales par ailleurs » consiste à analyser la relation entre les deux variables étudiées dans chacune des catégories obtenues par croisement des modalités définies sur chaque facteur explicatif.

Considérons pour simplifier la relation entre le sexe et l’opinion politique. La question initiale est la suivante : le vote des femmes est-il différent de celui des hommes « toutes choses égales par ailleurs » ? Limitons-nous tout d’abord à deux facteurs, l’âge et la catégorie socioprofessionnelle. On peut définir 7 classes d’âge à partir de 18 ans (18-28, 28-38, etc.). Supposons que les électeurs soient répartis suivant 8 catégories socioprofessionnelles. Au sein d’une même classe d’âge on trouve bien évidemment plusieurs catégories socioprofessionnelles. L’hypothèse considérée nécessite donc la prise en compte de la répartition croisée, ce qui multiplie les catégories au sein desquelles on doit comparer l’opinion politique des hommes et des femmes. On obtient donc 56 groupes ( = 7 x 8 ) vérifiant l’hypothèse « toutes choses égales par ailleurs » telle qu’elle a été définie ci-dessus par l’âge et la catégorie socioprofessionnelle,. En ajoutant une troisième variable, par exemple le secteur d’activité (primaire, secondaire, tertiaire), on obtiendrait 168 ( = 56 x 3) groupes et ainsi de suite.

Pour une enquête effectuée auprès de 2000 personnes (taille ordinaire des enquêtes sociologiques, 9000 pour les cohortes d’élèves dans les analyses de Piketty), l’hypothèse « toutes choses égales par ailleurs » précédente aboutit à des tableaux dont l’effectif est en moyenne de 12 ( = 2000 / 168) et de 54 ( = 9 000 / 168).

Application du modèle linéaire

Les méthodes élémentaires pour étudier la liaison éventuelle entre le sexe et l’opinion politique, comme le test d’indépendance du c² de Pearson, nécessitent des effectifs largement supérieurs. Ne pouvant être appliquées que sur un petit nombre de tableaux, elles ne peuvent donner de réponse générale à la question posée.

On procède donc d’une façon différente en émettant une hypothèse supplémentaire : la relation entre les deux variables étudiées est supposée être la même dans tous les groupes obtenus par répartition croisée. Il s’agit d’une hypothèse de « stationnarité » : l’effet propre d’une variable sur l’autre est considéré comme constant a priori. Cela signifie dans l’exemple précédent que la liaison entre le sexe et l’opinion politique est la même à 20 ans qu’à 40 ans, chez les cadres supérieurs que chez les ouvriers, finalement dans les 168 groupes. Il ne s’agit pas d’une hypothèse d’une importance négligeable, bien au contraire : sa vraisemblance mérite d’être contrôlée par la suite à l’aide de méthodes statistiques appropriées. La question posée devient alors : « Quel est l’effet propre du sexe sur l’opinion politique des électeurs ? »

On suppose donc a priori l’existence d’un effet propre constant du sexe sur l’opinion politique : cette hypothèse de stationnarité est présente dans le modèle linéaire utilisé généralement pour rechercher et analyser la relation entre deux variables. L’expression mathématique de ce modèle est en effet :

Y = b₀ + b₁ X₁ + b₂ X₂ + … + b_p X_p + e

La liaison entre Y (l’opinion politique) et X₁ (le sexe) est caractérisée par le coefficient de régression b₁ constant quelles que soient les valeurs prises par les autres variables explicatives X₂, X₃, …, X_p. Le terme e représente la variable résiduelle (ou d’ajustement). L’analyse de cette hypothèse par le modèle linéaire repose donc sur le paradoxe suivant : on suppose l’existence de l’effet propre pour concevoir le modèle mathématique utilisé pour la contrôler.

On transforme ainsi la multiplicité des cas en un problème unique pour lequel on dispose d’observations répétées, et la relation entre deux variables « toutes choses égales par ailleurs » est mesurée, dans le cas de deux variables quantitatives, par le coefficient de régression ou, de façon équivalente, le coefficient de corrélation partielle.

L’analyse de ce dernier est analogue à celle du coefficient de corrélation, et est exposée aux mêmes dangers. Son interprétation en terme de causalité ne peut résulter de sa valeur numérique, quelle qu’elle soit, et les tests statistiques qui permettent de déterminer s’il est significatif ou non reposent sur des hypothèses qu’il est indispensable de contrôler, comme la normalité de la variable aléatoire résiduelle e. Ce contrôle est particulièrement difficile : il demande des compétences en statistiques de haut niveau, n’aboutit jamais à une certitude et se révèle parfois impossible, faute d’échantillon de taille suffisante.

à ces difficultés s’ajoutent les limites de la modélisation : un modèle est par essence faux, puisque que ce n’est qu’une représentation de la réalité. Par exemple, l’indépendance de deux variables aléatoires est un concept purement mathématique, de même que la normalité d’une loi de probabilité : il suffit de multiplier les observations pour aboutir à un rejet de ces hypothèses. Contrôler un modèle, c’est en fait seulement vérifier qu’il n’est pas intrinsèquement contradictoire, et que les approximations sont acceptables. Plus le nombre d’hypothèses nécessaires à sa construction augmente, moins il est plausible. Supposons, dans une démarche intuitive, qu’un degré de vraisemblance de 0.9 soit affecté à chaque hypothèse. Un modèle comportant n hypothèses a pour degré de vraisemblance 0.9ⁿ, ce qui pour n = 5 représente 0,59 et pour n = 10, 0,35 : ce n’est pas beaucoup et cela décroît très vite. C’est pour cette raison que l’on privilégie les modèles nécessitant les hypothèses les moins nombreuses et les moins contraignantes, suivant le principe de parcimonie appelé jadis rasoir d’Occam. Il s’agit ici d’une limite statistique de la méthode, qui ne permet pas de prendre en compte dans l’hypothèse « toutes choses égales par ailleurs » un grand nombre de variables caractéristiques.

Ces limites statistiques sont complétées par celles de la méthode choisie. Le modèle linéaire possède en effet des propriétés statistiques curieuses, mais qui correspondent à des notions intuitives. Reprenons notre exemple pour faciliter la compréhension. Il peut arriver qu’aucune variable n’exerce un effet propre sur les choix politiques de quelqu’un, au sens du coefficient de corrélation partielle, mais que la conjonction de plusieurs, par exemple le sexe et l’âge, donne une corrélation significative avec son opinion politique « toutes choses égales par ailleurs » : le paramètre étudié est alors le coefficient de détermination partielle. Cela peut être aussi la conjonction de la catégorie socioprofessionnelle et de l’âge, etc. Cette propriété est analogue à celle que l’on observe en médecine : certains médicaments ne sont efficaces que parce qu’ils contiennent plusieurs principes actifs, qui, pris séparément, n’auraient aucun effet thérapeutique.

Il peut arriver aussi que l’effet existe sur deux variables à la fois, et non sur une : on peut par exemple trouver une liaison significative entre l’opinion politique et l’âge d’une part, le sexe et la CSP d’autre part : il s’agit ici d’analyse canonique, méthode statistique peu connue en France.

Finalement, lorsque le coefficient de corrélation partielle entre les deux facteurs est significatif, le chercheur doit choisir entre deux conclusions :

· il existe une liaison significative entre les deux variables (le sexe et l’opinion politique) caractéristique d’un effet propre ;

· L’hypothèse « toutes choses égales par ailleurs » nécessaire aux analyses n’est pas satisfaite.

La définition de l’hypothèse « toutes choses égales par ailleurs » est donc fondamentale dans les conclusions d’une analyse. Sa formulation laisse penser qu’elle est au moins approximativement réalisée, alors qu’en réalité ce ne peut être le cas. Elle est très dépendante des choix du chercheur. Dès lors, l’acceptation d’une relation significative entre deux variables sous cette hypothèse ne peut être que prudente et sujette à caution même si le modèle donne des résultats statistiquement significatifs. Cette prudence est encore plus nécessaire lorsque la relation est interprétée en terme de causalité.

information , objectivation et interprétation

D’une façon générale, les méthodes statistiques modernes permettent de mieux observer les faits sociaux qu’auparavant, mais elles sont fondées sur des hypothèses précises dont la facilité d’expression cache souvent la complexité. La tendance naturelle est de supposer que ces hypothèses sont vérifiées, ce que leur contrôle ne permet pas d’assurer, alors qu’elles sont souvent contestables. En outre, dans le cas précis du conflit entre Thomas Piketty et Denis Meuret, la question posée concerne l’effet de la taille des classes sur les résultats des élèves. On peut facilement imaginer que ces résultats dépendent d’un nombre de facteurs non maîtrisables, non quantifiables, et qu’ils ne sont pas comparables d’un élève à l’autre. La réussite d’un élève est individuelle : la mesurer par le même instrument pour tous permet à la fois d’objectiver l’observation et de la traiter par ordinateur, mais l’objectivation de l’observation appauvrit considérablement l’information. L’opinion personnelle de l’auteur (évidemment contestable et qu’on lui pardonnera de donner) est qu’il n’est pas besoin d’utiliser des méthodes statistiques puissantes pour prouver que la réussite des élèves est meilleure dans le cas de classes à faibles effectifs, pas plus que pour prouver que la consommation d’alcool est dangereuse pour la conduite d’une voiture. Quant aux pourcentages d’amélioration de leur réussite, on n’en voit guère ni le sens, ni l’intérêt. On trouvera dans Foucart (2004) d’autres commentaires sur les analyses statistiques de données issues du ministère de l’éducation nationale.

Plus les outils statistiques utilisés sont puissants, plus on est tenté de les utiliser : « Cette suprématie de la statistique va trop souvent conduire à privilégier l'instrument par rapport à l'objet. C'est alors la technologie qui commande la problématique : on fera une analyse factorielle sur tel ensemble de données plutôt que d'étudier tel problème en utilisant l'analyse factorielle… » (Derivry). En réalité, l’analyse sociologique théorique doit être d’autant plus approfondie pour interpréter les résultats des méthodes statistiques que ces dernières sont puissantes. Cet approfondissement est bien leur intérêt, alors qu’on néglige au contraire de plus en plus l’approche psychologique, qualitative, qu’on oublie le précepte de la revue sélective (Simiand, 1932, p. 114-119) et l’individualisme méthodologique (Boudon, 2003).

Bibliographie

[1] BOUDON R. et coll., 2003, Dictionnaire de sociologie, Larousse, Paris

[2] Chauvel L., 2001, Le retour des classes sociales ? Revue de l’OFCE n° 79

[3] DERIVRY D., 2000, article Sociologie – les méthodes, Encyclopædia Universalis.

[4] Foucart T., 2001, L’interprétation des résultats statistiques, Mathématiques et Sciences Humaines, n°153.

[5] FOUCART T., 2004, Scènes ordinaires de la vie universitaire, Fabert, Paris.

[6] Kendall M.G. and A. Stuart, 1961, The advanced theory of statistics, Griffin, Londres.

[7] SIMIAND F., Le salaire, l'évolution sociale et la monnaie, 1932, t. I, site internet http://www.uqac.uquebec.ca/zone30/Classiques_des_sciences_sociales/index.html