Les différentes étapes impliquées dans l'analyse de données expérimentales ou quasi-expérimentales

Suite à la passation d'une expérience, une fois que l'on dispose enfin de ses données, on est souvent quelque peu démuni. Comment faire face à cette masse de variables? Voici les étapes que je vous recommande de suivre dans l'analyse de données expérimentales ou quasi-expérimentales. Pour ce faire, il vous faudra disposer du logiciel d'analyses de données SPSS.

Remarque préliminaire: ce document concerne principalement le cas de variables dépendantes mesurées à un niveau au moins ordinal (par exemple, questionnaires de type Likert) que l'on cherchera généralement à traiter comme continues.

Les grandes étapes dans l'analyse de données expérimentales:

1. Encodage

2. Ecremer l'échantillon

3. Simplification des variables

4. Statistiques descriptives

5. Inférence statistique

6. Ecriture des résultats

1. Encodage:

– Numérotation des protocoles (un par sujet)

– On veillera à encoder les données dans SPSS en ménageant une première colonne pour le numéro du sujet, une colonne correspondant à chaque facteur manipulé, une dernière colonne rapportant les problèmes ou observations éventuelles à propos du sujet.

– Dans la dénomination des variables, il est souvent préférable de nommer les variables en fonction de ce qu'elle sont censées mesurer, suivies d'un numéro. Par exemple, si vous utilisez quatre items mesurant l'extraversion perçue d'une cible, vous pourrez les nommer extr1, extr2, extr3, extr4. Par ailleurs, vous attribuerez dans SPSS un label à chacune d'elle correspondant à la formulation exacte de l'item. En outre, je vous conseille de vous munir d'un questionnaire (si votre étude a été menée par questionnaire) sur lequel vous noterez à côté de chaque item le nom de la variable associée dans SPSS.

– En ce qui concerne les variables nominales, vous attribuerez à chaque valeur un nombre ("0" = femme, "1" = homme par exemple) et non seulement vous attribuerez un label à la variable mais également à chaque valeur. Ceci est particulièrement important en ce qui concerne les facteurs manipulés, qui sont généralement nominaux (par exemple, "0" = "Contrôle", "1" = "Condition forte", "2" = "Condition faible", etc.).

– Pour dénommer les variables, il est recommandé d'utiliser des chaînes de caractères de maximum 8 caractères sans accent ni espace et ce afin que le fichier soit facilement transférable d'une version de SPSS à une autre.

– Créer également un livret de codage dans un logiciel de traitement de texte. Ce livret de codage comprendra le nom de chaque variable, l'item ou une description de ce à quoi elle correspond, les valeurs qu'elle peut prendre (et le cas échéant les labels associés). Une colonne par information, une ligne par variable.

2. Ecrémer l'échantillon:

– Je vous conseille d'ensuite vous centrer sur une variable dépendante à la fois. Généralement, dans un questionnaire, vous aurez conçu plusieurs échelles afin de mesurer de manière valide les variables dépendantes qui vous intéressent. Chacune de ces échelles est composée de plusieurs items. Dans la section suivante, nous verrons comment regrouper ces items de façon à étudier non pas chaque item indidviduellement mais des scores correspondant aux regroupement de ces items (et qui constituent vos véritables variables dépendantes). Avant de regrouper des items, il est toutefois préférable d'éliminer certaines données que l'on juge peu exploitables et ce sur différentes bases.

– Sur base des valeurs observées: On peut examiner la distribution des variables individuelles et ce, notamment, afin d'éventuellement éliminer les sujets qui auraient de nombreuses valeurs extrêmes (voir cette page-ci à cette fin). A cet égard, une convention largement partagée consiste à éliminer des sujets dont les observations se situeraient à plus de 4 écart-types de la moyenne (McClelland, 2000). Cela permettra également de détecter d'éventuelles erreurs d'encodage qui auraient donné lieu à des valeurs aberrantes. A ce stade, je suis relativement réservé quant à la légitimité d'éliminer des sujets qui n'auraient qu'une valeur extrême (non due à une erreur d'encodage). Après tout, celle-ci peut être légitime et devrait n'avoir que peu d'influence une fois les items agrégés sous formes d'échelles.

– Sur base du déroulement de la session: On pourra également éliminer des observations jugées caduques pour des raisons méthodologiques (par exemple, une alarme a sonné pendant que le sujet passait l'expérience; le sujet n'a pas répondu à certaines consignes, etc.)

– Sur bases démographiques: le sujet se distingue du reste de l'échantillon par des critères jugés pertinents quant à l'interprétation des résultats – par exemple, il est maghrébin alors que l'étude porte sur les préjugés vis-à-vis des personnes d'origine nord-afriacine – ou quant à sa capacité à correctement interpréter les consignes – par exemple, s'il ne maîtrise pas bien l'idiome dans lequel est formulé le questionnaire.

3.Simplification des données et regroupement des items:

Comme nous l'avons mentionné ci-dessus, généralement, dans un questionnaire, vous aurez conçu plusieurs échelles afin de mesurer de manière valide les variables dépendantes qui vous intéressent. Chacune de ces échelles est composée de plusieurs items. Avant de tester si vos manipulations expérimentales ont eu un effet sur ces variables, il importe donc de les agréger, de les regrouper afin de disposer d'une mesure unique. Ceci dans un souci de simplification (il serait extrêmement fastidieux d'effectuer et de devoir lire des analyses item par item si les items portent tous sur le même objet) et de validité interne (l'erreur de mesure diminuant lorsque plusieurs items mesurant la même dimension sont agrégés).

– Deux stratégies sont envisageables pour regrouper les items. Elles dépendent de la mesure dans laquelle vous vous attendez à ce que vos données soient uni- ou multi-dimensionnelles. Prenons l'exemple d'une série de questions portant sur l'impression que l'on se fait d'une cible – est-il compétent, chaleureux, sympathique, etc. Les réponses à ces questions peuvent soit être "multidimensionnelles" ce qui signifie que plusieurs dimensions organisent la perception de la cible (par exemple, la dimension "compétence intellectuelle" et la dimension "sociabilité"), soit être unidiemensionnelles (par exemple un facteur général "positivité" organise cette représentation). Dans le premier cas, il serait pertinent de construire deux échelles, mesurant la perception de la cible sur chaque dimension. Dans le second cas, une seule échelle suffira.

– Si vous n'êtes pas sûr que vos données sont unidimensionnelles, ou si vous vous attendez à ce qu'elles soient multidimensionnelles, il importe de faire une analyse factorielle en composantes principales (ACP) afin de s'en assurer:Dans SPSS, cliquez sur: analyse/data reduction/factor (analyse/réduction des dimensions/analyse factorielle). Vous faites glisser toutes les variables concernées dans l'écran de droite. Je vous conseille dans "options" de cocher sur "sorted by size". Si l'analyse révèle la présence de plusieurs facteurs (avant rotation), il faudra généralement en conclure que votre échelle est multidimensionnelle. Dans ce cas, il est souvent idéal d'effectuer une rotation (en cliquant sur "rotation" et en cochant "varimax"). Nous vous conseillons également dans "options" de choisir "sorted by size" et "omit absolute values less than .30" (cela n'a aucune influence sur l'analyse mais cela facilite la lecture). Ensuite, deux solutions s'offrent à vous:

– Solution 1: Vous pourrez ensuite regrouper les variables dont les saturations (factor loadings) sont concentrées sur le même facteur en calculant des scores correspondant à leur moyenne (en vérifiant toutefois leur alpha de cronbach). Remarquons qu'on considère une saturation comme modérément élevée à partir de .35 ou .40 en valeur absolue. Veillez toutefois à ne calculer ces moyennes qu'une fois les variables recodées de façon à "pointer" dans le même sens (par exemple, votre item "introverti" devra être inversé si vous voulez calculer sa moyenne avec les items "chaleureux", "extraverti", etc.; si pour chaque item, la réponse est codée de 1 à 9, ce recodage impliquera de créer une nouvelle variable correspondant à 10 – la valeur initiale, de telle sorte que 1 devienne 9, 2, devienne 8, etc.)

– Solution 2: Vous pouvez également calculer les "scores factoriel" qui correspondent à la position du sujet sur chaque facteur. Il peut varier entre -1 et 1. Pour ce faire, cliquez sur "score"/"save as variable". De nouvelles variables apparaîtront à la fin du fichier SPSS et correspondront au "score" du sujet sur chaque facteur. Par exemple, si votre facteur 1 reflète l'introversion perçue de la cible, ce score factoriel correspondra peu ou prou au degré auquel la cible est perçue comme introvertie.

– Cas particulier: Dans certains cas, vous constaterez qu'un item unique se distingue des autres en ayant son "propre" facteur (c'est-à-dire qu'il est le seul à être "saturé" sur ce facteur). Dans ce cas, il peut être pertinent d'effectuer l'analyse à nouveau en ôtant cet item.

– Plus radicalement, il peut parfois être bienvenu d'ôter les items saturés sur plusieurs facteurs et de refaire l'analyse jusqu'à ce que chaque item n'ait une saturation élevée (au moins 0.4) que sur un seul facteur. Adopter la solution 1 ci-dessus exige du reste que les items soit relativement "purs" de ce point de vue.

– Si vous n'envisagez pas la mutidimensionnalité, choisisez de calculer l'alpha de cronbach uniquement et ce de façon à vérifier que les items que vous comptez regrouper soient suffisamment intercorrélés pour que l'échelle dispose d'une validité interne suffisante.

4. Statistiques descriptives

– A présent que vous avez regroupé vos variables sous forme de scores, il peut être utile d'examiner la distribution de ces variables globalement ainsi qu'en fonction des facteurs manipulés. Vous pourrez ainsi examiner si elle est raisonnablement normale (cela implique généralement qu'il y ait un mode clair eAvant de regrouper des items, il est toutefois préférable d'examiner la t un seul), ce qui vous autorise à utiser des techniques paramétriques.

A ce stade, il devient encore plus légitime d'éliminer des sujets qui auraient des valeurs extrêmes. Celles-ci reflétant cette fois des scores agrégés sur plusieurs items, elles sont d'autant plus susceptible de refléter le caractère atypique du sujet.

– Si la distribution est suffisamment "normale", il devient pertinent d'examiner les moyennes. A vue d'oeil, cela vous permettra d'examiner si les résultats semblent se conformer aux hypothèses.

Dans le cas contraire, deux solutions au moins s'offrent au chercheur:

– Solution 1 – Transformation: selon la distribution, il peut être pertinent de "transformer" les variables de façon à ce que leur distribution soit plus normale. Par exemple, pour des distributions fortement asymétriques, une transformation logarithmique peut s'avérer bénéfique. Ceci exigera d'utiliser la fonction transform/compute dans SPSS et de définir une fonction correspondant à la nouvelle variable.

– Solution 2 – Approche non paramétrique. Il est également possible de traiter les valeurs observées comme nominales et d'examiner si la ventilation des différentes valeurs diffère en fonction de la condition (après un recodage éventuel visant à restreindre le nombre de catégories via les fonctions transform/recode). Pour ce faire, on recourra à la fonction analyse/descriptive statistics/crosstabs. On examinera ensuite la fréquence d'apparition de chaque valeur en fonction des conditions expérimentales avant d'effectuer des test d'indépendance Khi carrés ou autres méthodes non paramétriques (analyse/nonparametric tests).

5. Inférence statistique

– Votre tâche suivante consistera à déterminer s'il existe des différences statistiquement significatives entre vos conditions expérimentales. Ceci implique de recourir à l'inférence statistique.

– Quelle stratégie adopter? Tout d'abord, examinez bien votre plan expérimental. Pour chaque facteur impliqué, examinez s'il est répété-intra-sujets ("within-subjects") ou s'il est intersujets ("between subjects"). Une fois ceci établi, vous passerez des analyses les plus globales aux analyses les plus spécifiques. Sur cette page-ci (et ensuite, sur celle-ci), en fonction de la réponse à la question précédente, vous pourrez trouver les analyses "globales" et "spécifiques" à mener.

Par exemple, imaginez que votre plan expérimental comprenne un facteur intersujets à deux modalités (A) et un facteurs intra-sujets à trois modalités (B). Vous effectuerez d'abord une analyse de variance mixte.

Imaginons que cette analyse ne révèle pas d'interaction mais uniquement deux effets principaux de A et de B. Vous examinerez ces effets principaux. Comme A a deux modalités vous pourrez identifier directement la nature de ces effets (un niveau est plus élevé que l'autre). Pour B, par contre, vous devrez effectuer des comparaisons post hoc ou des contrastes afin de déterminer entre quelles conditions une différence a été observée (car un effet principal ne spécifie pas l'origine de la différence observée).

Imaginons en revanche que l'on observe une interaction. Dans ce cas, il faut décomposer l'interaction entre les deux facteurs, par exemple en examinant pour chaque modalité de B, si l'effet de A est significatif (ce qui exigera d'effectuer un test t pour échantillons indépendants). Inversement, on pourra examiner si, pour chaque valeur de A, l'effet de B est significatif (ce qui impliquera d'effectuer une analyse de variance à un facteur après avoir "splitté" le fichier selon les niveau de A). Si ces analyses de variance se révèlent concluantes, il faudra ensuite à nouveau effectuer des tests a posteriori afin d'examiner d'où proviennent les différences observées.

6. Ecriture des résultats:

Celle-ci sera guidée par les hypothèses. Voir des consignes très complètes ici (LINK RESULTATS).

Références:

McClelland, G. H. (2000). Nasty data: unruly, ill-mannered observations can ruin your analysis (Chapter 15, pp. 393). In H. T. Reis & C. M. Judd (Eds.), Handbook of research methods in social and personality psychology. Cambridge, UK: Cambridge University Press