Outil de calcul pour tests A/B

Dans le contexte de tests A/B, la significativité statistique correspond au degré de probabilité selon laquelle la différence entre la version de contrôle et la version de test nʼest pas le fruit du hasard ou dʼune erreur.

Par exemple, si vous effectuez un test avec un niveau de significativité de 95 %, vous pouvez être confiant à 95 % que les différences sont réelles.

Dans le monde de lʼentreprise, cette notion est fréquemment employée pour voir dans quelle mesure certaines expériences influencent le taux de conversion dʼune entreprise. En matière de sondages, la significativité statistique permet de sʼassurer de la fiabilité des résultats. Par exemple, si vous demandez à vos participants sʼils préfèrent le concept publicitaire A ou B, vous voudrez vous assurer, avant de décider quel concept utiliser, que la différence de résultats entre lʼun et lʼautre est statistiquement significative.

La première étape consiste à formuler une hypothèse. Tout test inclut une hypothèse nulle, selon laquelle il nʼexiste aucun lien entre les deux éléments que vous comparez, et une hypothèse alternative. Lʼhypothèse alternative, celle que vous défendez, tente de prouver quʼil existe en fait bel et bien un lien. Dans le cas d'un test A/B sur le taux de conversion, vous pouvez supposer que lʼajout dʼun bouton, dʼune image ou dʼun certain contenu à une page va avoir une influence sur le taux de conversion, et voir si cette hypothèse se vérifie. Lorsque vous utilisez des sondages dans le cadre dʼun test de concept (comme dans lʼexemple cité précédemment), vous pouvez envisager de tester différents concepts publicitaires pour voir celui qui aura la préférence des personnes interrogées.

Après avoir formulé leurs hypothèses (lʼune nulle, lʼautre alternative), les statisticiens effectuent parfois des tests pour sʼassurer de la validité de ces dernières. Le z-score (ou score standard) évalue la validité de lʼhypothèse nulle et permet de déterminer si, en définitive, il nʼexiste effectivement aucun lien entre les éléments que vous comparez. La valeur-p indique si la preuve de votre hypothèse alternative est tangible ou non.

Lorsque vous cherchez à évaluer la significativité statistique, commencez par déterminer si votre test sera unilatéral ou bilatéral. Un test unilatéral part du principe que votre hypothèse alternative aura un effet directionnel, tandis quʼun test bilatéral envisage que votre hypothèse puisse également avoir une incidence négative sur vos résultats. En général, il est plus prudent dʼopter pour un test bilatéral.

Même les statisticiens professionnels ont recours à des logiciels de modélisation pour calculer la significativité statistique et corroborer les hypothèses de leurs tests ; nous nʼallons donc pas trop nous étendre sur le sujet, mais si vous effectuez un test A/B, vous pouvez calculer automatiquement la significativité statistique de vos résultats grâce à l'outil de calcul fourni en haut de cette page. SurveyMonkey vous simplifie la vie !