Comment définir la taille d'un échantillon?

(article rédigé par Olivier Klein)

Pourquoi définir la taille d’échantillon a priori?

* Lorsqu’on effectue une étude expérimentale, on est guidé par des hypothèses. Celles-ci peuvent concerner certains effets desmanipulations que l’on introduit ou des différences entre des groupes de participants se distinguant sur certains traits. Grâce à des méthodesd’inférence statistique, on cherche à établir la vraisemblance de ces hypothèses. Toutefois, pour que ces méthodes permettent de tirer des conclusions pertinentes, il faut que le nombre d’observations soit suffisant. Comment dès lors déterminer ce nombre, ou effectif? Il estévidemment tentant de se baser sur une règle intuitive (20 sujets par condition par exemple) ou de se laisser guider uniquement par l’accès à la population (“plus j’en ai, mieux c’est”) voire à arrêter la collecte de données dès qu’on obtient des résultats significatifs (une pratiquetotalement contraire aux principes d’inférence statistique!). Aucune de ces solutions n’est idéale. En effet, pour déterminer le nombred’observations à utiliser dans une étude, il faut prendre en compte la puissance de cette étude. La puissance, correspond à la probabilité dedétecter un effet qui est présent dans la population dont est issu l’échantillon. Elle dépend précisément des facteurs suivants:

* – La taille de l’effet dans la population (plus l’effet est important, plus on a de chances de le détecter).

* – La taille de l’échantillon (plus elle est élevée, plus la puissance est importante)

* – Le seuil de signification (plus il est élevé, plus grande est la puissance).

* Cf. aussi la page sur l’inférence statistique

* Problème: si la puissance de notre étude est insuffisante, on ne peut tirer aucune conclusion des résultats, en particulier s’ils sont non significatifs. Or, la puissance moyenne des études publiées en psychologie est très faible. Elle se situerait autour de 50% (Rossi, 1990). Celaveut dire les études de psychologie ont en moyenne seulement une chance sur deux de détecter un effet (en supposant qu’il soit présent).Outre les conséquences que cela entraîne sur l’intérêt des études publiées, cela représente un gaspillage de ressources (temps, argent, crédits d’expériences,…) considérable.

* Trois solutions s’offrent à nous pour augmenter la puissance d’une étude:

* Augmenter la taille de l’échantillon.

* Minimiser l’erreur (ce qui peut se faire par l’entremise de plans intra-sujets, en introduisant des covariés ou en utilisant des échantillonsaussi homogènes que possible au sein de chaque condition).

* Utiliser des manipulations plus fortes (et donc à augmenter la taille de l’effet).

Remarque: De nombreuses publications en psychologie, telles que Psychological Science, Journal of Experimental Social Psychology ouPersonality and Social Psychology Bulletin exigent (ou recommandent) à présent que les études soient “enregistrées” (sur un site web comme par exemple, l’Open Science Framework (http://www.osf.io). Cet enregistrement implique notamment de rapporter a priori uneanalyse de puissance justifiant la taille d’échantillon utilisée. Ceci permet notamment d’éviter une pratique consistant à arrêter la collecte dedonnées lorsque l’effet est significatif (ce qui augmente le risque d’erreur de première espèce).

Quelle puissance utiliser?

* Le grand spécialiste de la puissance, Jacob Cohen, recommande un seuil de 80%. Cependant, on pourrait proposer l’argument selon lequelune puissance n’est acceptable qu’à partir de 95% ce qui reviendrait à accepter le même taux d’erreur de type II (beta = faux négatifs) que cequ’on accepte en termes d’erreur de type I (alpha = faux positifs). En effet, avec une puissance de 80%, on considère comme acceptable de “manquer” 20% d’effets pourtant bien présents.

* Pour faire tous ces calculs une ressource est grandement utile: le logiciel G*power (http://www.gpower.hhu.de/en.html) qui est librementaccessible. Utilisez la fonction “determine” pour convertir les etas carrés partiels en “f” (indice de taille d’effet utilisé par le logiciel). Une feuilleexcel permettant de convertir tous les indices de tailles d’effets existe également ici. S’il est important d’estimer si un effet est robuste ou non, il est absolument nécessaire de choisir une puissance importante (95 % de préférence). S’il s’agit juste d’explorer un effet potentiellementintéressant théoriquement, mais non encore établi, il peut être plus légitime de choisir une puissance plus faible.

Les différents indices de taille d’effet

* La taille d’effet représente tout simplement la “grandeur” de l’effet observé et dépend du rapport entre le degré auquel les moyennes (ou tendances centrales) varient d’une condition (ou d’une modalité de la VI) à l’autre et le degré de variation au sein de chacune de ces conditions (ou modalités). C’est le rapport entre la variabilité inter-conditions (ou groupes ou modalités) et la variabilité intra-.

* Eta carré (ou η²) correspond à la proportion de variance totale expliquée alors que l’eta carré partiel (fourni notamment par SPSS) est le rapport entre la variabilité due à l’effet considéré et la somme des variabilités (Somme des carrés) due à cet effet d’une part et à l’erreur d’autre part. G*Power utilise un autre indice le f de Cohen, qui correspond au rapport entre la variance des moyennes et la variance de l’erreur. D’autres indices existent. Voir une description complète dans l’article de Lakens (2013).

Estimation des tailles d’effets

Pour faire une analyse de puissance, il est nécessaire d’estimer les tailles d’effets. Comment s’y prendre? Plusieurs solutions s’offrent à vous:

1- Se baser sur des travaux existants. L’idéal bien sûr consiste à effectuer une étude pilote et à évaluer la taille d’effet sur un petit échantillon. Alternativement, si l’on connaît, les tailles d’effets dans la littérature (de préférence des méta-analyses, qui proposent des estimations plus fiables), on peut les utiliser. On peut aussi les calculer aisément si on dispose d’études précédentes dans lesquelles les moyennes et les écarts-types par condition (ou les Sommes des carrés inter et intea) sont disponibles (en cliquant sur “determine” dans g*power ou en utilisant un calculateur comme celui-ci: http://www.psychometrica.de/effect_size.html). Attention, toutefois: selon Simmons, vu le biais de publication dans la littérature en faveur des résultats significatifs, il vaut souvent mieux prendre des échantillons deux fois à deux fois et demi plus grands que ce que l’on obtient sur base des résultats observés dans la littérature. Donc, par exemple, si on vous recommande unéchantillon de 20 sujets par condition pour une puissance à 95%, il vaut mieux en avoir 50.

2- Utiliser les conventions de Cohen qui définit des effets petits (d = .2, eta² = .02, f = .10), moyen (d = .5,  eta² = .13, f = .25) et grand (d = .8, eta² = .26, f = .40). On pourra ensuite utiliser le tableau suivant pour estimer le nombre de sujets nécessaires en fonction du plan. Ce tableau rapporte l’effectif par groupe nécessaire pour atteindre une puissance de 80% dans des plans inter-sujets.

3. La troisième solution consiste à se baser sur ses propres estimations quant à ce qui constitue un effet digne d’intérêt. Par exemple, si on s’intéresse aux différences entre les hommes et les femmes sur une mesure de racisme, on peut se dire, que l’on ne sera guère intéressé par un effet du sexe qui explique moins de 5% de variance totale. Ceci pourrait se justifier par des préoccupations sociétales: pourquoi étudier un facteur qui n’expliquera qu’une partie congrue de la variance du phénomène qui nous intéresse? On peut établir la taille d’effet correspondante grâce au tableau ci-dessous. Le “f” (utilisé par G*power) vaut un peu plus de 0,20 pour une taille d’effet (eta carré) correspondant à 5% de la variance. Donc, pour deux groupes,

Remarquons qu’en psychologie, les tailles d’effets sont en moyenne de d = 0,21 (Richards et al, 2000) ce qui est très faible.

Dans le même ordre d’idée, une autre façon de procéder consiste à se représenter de façon concrète ce que représente une taille d’effet donnée. Dans ce tableau, on envisage deux groupes, expérimental et contrôle (mais cela pourrait être les hommes et les femmes, les fumeurs et les non fumeurs, ….). Selon la taille d’effet, voici ce que cela implique pour trois indices. Par exemple, avec une taille d’effet de d = 0,1, 54% des sujets du groupe expérimental seront au-dessus de la moyenne du groupe contrôle, on a 52% de deviner correctement l’appartenance à un groupe sur base de son score, et il y a 53% de chances qu’une personne tirée au hasard dans le groupe expérimental soit au-dessus d’une personne du groupe du contrôle. A partir de quel pourcentage, le phénomène vous intéresse-t-il?

…Alternativement, examinez la liste d’effets ci-dessous et demandez-vous si l’effet que vous étudiez est susceptible d’être plus ou moins grand que des effets bien établis, voire intuitivement évidents, comme la différence de taille entre hommes et femmes, l’effet de la présence d’une majorité sur le jugement, l’effet témoin ou encore l’influence du fait d’être marié sur le fait d’avoir un enfant? Evidemment, il serait préférable encore d’essayer de trouver des effets qui concernent des types de manipulation et des types de variables dépendantes (échelles, temps de réactions…) qui correspondent à celles que vous étudiez.

Exemples de taille d’effets correspondant à des phénomènes connus ou aisés à se représenter intuitivement

Ressources en ligne:

• Très bon site proposant différents calculateurs: http://www.psychometrica.de/effect_size.html
• Article de Daniel Lakens sur les différents indices de tailles d’effet: http://journal.frontiersin.org/Journal/10.3389/fpsyg.2013.00863/abstract. Il comporte des calculateurs excel très pratiques: https://osf.io/ixgcd/
• Le même propose une solution face aux difficultés que représente le recrutement d’effectifs importants: l’analyse de données séquentielles, qui consiste à déterminer a priori des “moments” auxquels on arrête la récolte de donnée et pouvons inspecter les résultats avant de décider ou non de poursuivre cette récolte, le tout en contrôlant l’erreur de première espèce de façon stricte (contrairement à la pratique sauvage “j’arrête quand c’est significatif”). Papier sous presse disponible. 
• Belle réflexion sur l’intérêt des tailles d’effet en psychologie: http://funderstorms.wordpress.com/2013/02/01/does-effect-size-matter/