Mesurer le succès et analyser les résultats
Cet article vous aidera à:
- Rassembler suffisamment de données avant de décider de mettre fin à une expérience.
- Interpréter les résultats des expériences gagnantes, perdantes et inconclusives.
Une fois que vous avez lancé votre expérience, vous pouvez consulter les résultats dans la vue Détails des expériences créatives. Bien que vous puissiez commencer à vérifier les résultats immédiatement, nous vous recommandons d'attendre au moins deux semaines pour recevoir des données avant de tirer des conclusions. Vous devez laisser votre expérience s'exécuter suffisamment longtemps pour collecter des données suffisantes et avoir un niveau de confiance élevé dans les résultats.
Trouver la page des détails de l'expérience
- Dans One Platform, cliquez sur votre compte sur la page d'accueil. Ensuite, allez à la page Campagnes > Expériences dans le menu de navigation de gauche.
- Localisez ou recherchez votre expérience dans la liste Aperçu.
- Cliquez sur le nom de l'expérience pour afficher la page Détails.
Dans la carte de résumé supérieure, vous trouverez les informations suivantes:
- Nom de l'expérience et hypothèse
- Options pour mettre fin à l'expérience
- Nombre de jours d'exécution
- Public ciblé dans l'expérience
Pour plus d'informations sur les paramètres de l'expérience ou pour modifier les allocations, cliquez sur Paramètres.
Sous la carte de résumé supérieure, vous verrez les résultats de l'expérience. Pendant que votre expérience s'exécute, vous pouvez surveiller et comparer ses performances par rapport à votre création originale. En examinant ces résultats, vous pouvez voir si vos résultats sont significatifs et fiables. Nous vous recommandons de faire fonctionner votre expérience jusqu'à ce qu'au moins une variante ait une probabilité de 95% de battre la variante de référence originale.
Rokt vous recommande de faire fonctionner votre expérience jusqu'à ce qu'au moins une variante ait une probabilité de 95% (ou moins de 5%) de battre la variante de référence originale.
Interprétation des résultats de votre expérience
Au sommet du tableau des résultats, vous verrez la Métrique sélectionnée. Cette Métrique est utilisée pour calculer la probabilité de chaque variante de surpasser la variante de référence d'origine. Vous pouvez également consulter les résultats de chaque variante par rapport à d'autres métriques. Des métriques supplémentaires aident à identifier les impacts indésirables potentiels sur l'expérience.
Vous pouvez consulter d'autres métriques en cliquant sur + Ajouter une métrique en haut du tableau des résultats. Vous pouvez ensuite choisir les métriques supplémentaires que vous souhaitez consulter et cliquer sur Enregistrer. Pour supprimer les métriques que vous ne souhaitez plus consulter, cliquez sur Supprimer la métrique.
Nous recommandons généralement d'évaluer toutes les métriques secondaires afin de détecter d'éventuels avertissements indiquant que vous avez un impact négatif sur d'autres métriques.
Amélioration
Cette métrique mesure la différence relative de performance entre les variantes de test et l'original pour la métrique sélectionnée. Utilisez les onglets en haut du tableau des résultats pour basculer entre les métriques.
Probabilité de surpasser la référence
Cette métrique montre la probabilité qu'une variante performe mieux que la variante de référence. Si une variante dépasse l'original de plus de 95%, alors le résultat est susceptible d'être fiable et vous pouvez la sélectionner comme gagnante. Il est possible d'avoir plusieurs variantes qui surpassent la référence.
Nous recommandons d'attendre que la probabilité de surpasser la référence atteigne 95% avant de déployer une variante expérimentale. Un déploiement plus précoce est possible, mais risqué car vous travaillerez avec des données incomplètes.
Intervalle de crédibilité
L'intervalle de crédibilité mesure l'incertitude autour de l'amélioration et affiche une plage de valeurs où les performances pour la métrique sélectionnée se situent réellement. Ci-dessous, les données et l'analyse de votre expérience sont présentées sous forme d'un graphique montrant l'intervalle de crédibilité pour chacune de vos variantes. Cela visualise comment vos variantes ont performé jusqu'à présent par rapport à la métrique sélectionnée dans votre tableau de résultats. Vous pouvez voir quelle métrique a été sélectionnée en regardant le titre du graphique.
Le graphique commence large, ce qui indique une plus grande incertitude quant aux performances de chaque variante. Au fur et à mesure que l'expérience collecte plus de données au fil du temps, l'intervalle se rétrécit pour montrer que la certitude augmente. Recherchez un chevauchement minimal ou nul entre les différentes lignes (variantes) sur votre graphique pour avoir une plus grande confiance dans les résultats de votre expérience.
Décider d'appeler une expérience
Nous vous recommandons de suivre quelques règles lors de l'interprétation des résultats de votre expérience et de décider de mettre fin à l'expérience.
- Attendez que l'expérience ait été en cours pendant au moins deux semaines. Cela permet de s'assurer que l'expérience a été en cours suffisamment longtemps pour recueillir suffisamment de données.
- Prenez le temps d'analyser les résultats et d'en apprendre davantage sur vos clients. Plus vous plongez dans les résultats et plus vous passez de temps à interpréter les données, plus vous pourrez en apprendre sur vos clients au-delà des variantes qui gagnent et perdent globalement.
Que faites-vous lorsque vous avez un gagnant ?
Il existe plusieurs scénarios possibles pour identifier la ou les variantes les plus performantes dans votre expérience.
L'original est le gagnant. Il est possible que toutes vos variantes expérimentales soient moins performantes que la variante de référence originale (toutes ont une probabilité inférieure à 95% de battre la référence). Dans cette situation, il est préférable de laisser votre expérience actuelle en ligne et de mettre fin à l'expérience. Le résultat est peu susceptible de changer et votre temps serait mieux utilisé pour une nouvelle expérience.
Notez que ce n'est pas un mauvais résultat ou une expérience ratée ! Vous avez appris des informations précieuses sur le comportement de vos clients, qui peuvent être utilisées pour de futurs tests.
Une variante spécifique est le gagnant. Il y a suffisamment de données pour conclure qu'une de vos variantes surpasse l'original pour votre métrique de succès principale (c'est-à-dire qu'une variante spécifique a une probabilité de 95% ou plus de battre la référence). Il est sûr de mettre fin à l'expérience et de promouvoir cette variante en tant que variante autonome sur votre page. Vous pouvez mettre en pause ou supprimer la variante originale si les résultats de l'expérience montrent que la variante de test est meilleure. Si vous préférez une transition plus lente et ne souhaitez pas mettre en pause ou supprimer la variante originale, l'algorithme d'apprentissage automatique de Rokt apprendra avec le temps et montrera la meilleure option pour chaque client.
Plusieurs variantes battent l'original. Il se peut que plusieurs de vos variantes de test soient meilleures que l'original (c'est-à-dire que plusieurs variantes ont une probabilité de 95% ou plus de battre la référence). Une fois que vous disposez de suffisamment de données pour conclure que certaines de vos variantes sont meilleures que l'original, vous devriez avoir suffisamment de données pour déterminer laquelle est la meilleure. Vous pouvez choisir de promouvoir uniquement la variante ayant la probabilité la plus élevée de battre la référence, ou plusieurs variantes et laisser l'algorithme d'apprentissage automatique de Rokt déterminer la meilleure option à montrer à chaque client.