Experience Insights

Avec Experience Insights, vous pouvez analyser dans quelle mesure vos expériences et vos personnalisations vous aident à atteindre vos objectifs.

REMARQUE : pour utiliser Experience Insights, vous devez d’abord le configurer. Pour plus d’informations sur la façon de configurer Experience Insights, consultez la section Configuration des Insights dans la documentation pour les développeurs.

Experience Insights suit les performances de vos personnalisations et expériences, fournissant aux spécialistes du marketing et aux analystes de données des informations qui leur permettent de prendre des décisions basées sur les données. Ce module est conçu pour fournir des analyses statistiques sans créer une nouvelle source de vérité, s’intégrant directement dans votre flux de données actuel.

Experience Insights vous fournit des mesures claires pour chaque expérience ou personnalisation, telles que :

• Taux de conversion

• Valeur moyenne de conversion

• Nombre total d’utilisateurs/de profils .

En outre, vous pouvez comparer les performances de chaque variante. Chaque expérience Ninetailed avec un groupe de contrôle défini peut faire l’objet d’une comparaison de performances. Nous comparons les variantes à l’aide de mesures telles que le gain relatif et la probabilité d’être le meilleure, vous donnant ainsi un aperçu clair de ce qui fonctionne le mieux, à l’aide de l’inférence bayésienne.

Pour évaluer la performance des expériences :

1. Sélectionnez votre expérience.

2. Sélectionnez votre vue.

3. Effectuez une analyse.

Étape 1 : sélectionnez votre expérience

Pour accéder à Experience Insights, ouvrez n’importe quelle entrée Ninetailed Experience dans votre source de contenu, telle que l’application web Contentful.

Étape 2 : sélectionnez votre vue

Une fois que vous avez sélectionné une expérience spécifique, cliquez sur l’onglet Insights pour afficher les informations. Assurez-vous de sélectionner la bonne vue.

• Période

Outre l’intervalle standard de 30 jours, vous êtes libre de choisir n’importe quelle période de reporting pour vos expériences.

• Métriques

Les métriques sont des événements ou des objectifs de conversion. Par défaut, Ninetailed suit les performances de toutes les métriques que vous avez configurées pour toutes vos Expériences. En fonction du type et de la portée de la métrique, certaines mesures changeront en conséquence.

Assurez-vous d’avoir configuré les métriques souhaitées avant le début d’une Expérience ou d’une Personnalisation. Vous pouvez toujours ajouter des métriques à un stade ultérieur. Cependant, elles ne seront disponibles qu’à partir du moment où elles auront été ajoutées à Ninetailed.

Étape 3 : Effectuer une analyse

Enfin, une analyse peut être effectuée pour en déduire des éléments d’action. Le tableau principal présente un ensemble de variantes avec leurs mesures respectives.

Nous vous recommandons de faire fonctionner chaque Expérience pendant au moins 2 semaines pour tenir compte des anomalies de comportement, avant de prendre des décisions basées sur l’analyse des performances.

Variantes

Chaque Expérience comporte généralement au moins deux variantes : une de « contrôle » et une « variante 1 ».

• Contrôle - Également appelé « baseline » ou « holdout », affiche les valeurs pour les utilisateurs qui n’ont pas été exposés à une personnalisation ni à une variante en cours d’expérimentation. Cela sert d’élément de comparaison pour toute personnalisation ou variante.

• Variante 1 - Représente la variante ou la personnalisation que vous exécutez. Elle est comparée au contrôle (ou à d’autres variantes si vous exécutez une expérience à plusieurs variantes).

Si vous exécutez une expérience avec plusieurs variantes, vous visualiserez plus de valeurs.

Mesures

Au cœur d’Experience Insights se trouvent des mesures qui suivent la performance réelle des objectifs à travers les Expériences. Nous utilisons l’inférence bayésienne pour fournir une significativité statistique dynamique.

Mesures dans Experience Insights

Taux de conversion ou valeur de conversion

Les conversions mesurent le succès du nombre de sessions ou d’utilisateurs ayant atteint l’objectif métrique donné au cours de la période donnée. Selon la métrique, il existe deux façons d’afficher les conversions :

Si la métrique est « binaire », le taux de conversion est évalué. Le pourcentage de sessions ou d’utilisateurs ayant d’abord vu l’Expérience en question, puis atteint l’objectif de conversion est affiché.

Si la métrique suit une « valeur de conversion », la valeur moyenne de cette conversion s’affiche. Les sessions ou les utilisateurs doivent d’abord voir l’Expérience en question, puis atteindre l’objectif de conversion. Pour chaque session ou utilisateur n’ayant atteint aucun objectif de conversion ou n’ayant vu l’Expérience en question qu’ultérieurement, la valeur 0 est ajoutée à la moyenne globale.

Gain relatif

Le gain relatif mesure l’augmentation ou la baisse relative du taux de conversion ou de la valeur de conversion par rapport au groupe de contrôle. Il est calculé à l’aide de l’inférence bayésienne, la norme de l’industrie pour les expériences statistiques. Combiné avec la Probabilité d’être le meilleur, le gain relatif est une des principales mesures pour extraire des éléments d’action de l’analyse.

Portée

La portée mesure le nombre de profils qu’une variante a atteints au cours de la période donnée.

Probabilité d’être le meilleur

La Probabilité d’être le meilleur mesure la probabilité que la variante individuelle soit la meilleure parmi toutes les variantes données et est basée sur l’inférence bayésienne et les simulations de Monte Carlo. Les deux facteurs qui contribuent à cette mesure sont la portée de chaque variante et le gain relatif. Par conséquent, la Probabilité d’être le meilleur est une méthode robuste pour prendre une décision statistiquement significative pour les variantes les plus performantes.

Exemple

Imaginez que vous testiez une expérience pendant quelques jours. Après plusieurs jours, elle n’a atteint que quelques centaines d’utilisateurs. Maintenant, même si l’une de vos variantes montre un gain relatif élevé de 50 %, la Probabilité d’être le meilleur pourrait ne pas être significativement élevée. De même, si votre expérience atteint un grand nombre d’utilisateurs, mais qu’aucune variante n’est performante à un taux beaucoup plus élevé, la Probabilité d’être le meilleur ne décidera d’aucun gagnant.

Choisir un gagnant

Par défaut, Ninetailed met en évidence une « variante gagnante » au niveau de confiance de 95 %. Cela signifie que toute variante avec une Probabilité d’être le meilleur égale ou supérieure à 95 % recevra une étiquette « gagnant ».

Choisir une variante gagnante

La balise n’est que descriptive. Ninetailed ne prend aucune autre mesure que de mettre en évidence un gagnant. Selon que vous analysez les performances d’une Expérience ou d’une Personnalisation, vous pouvez en déduire différents éléments d’action.

Exemple

Si une variante gagnante a été choisie pour une Expérience, vous pouvez

• Transformer cette variante en votre nouvelle référence

• Utiliser cette nouvelle variante comme nouvelle Personnalisation

• Créer une nouvelle Expérience avec une autre variante pour continuer à tester ce qui fonctionne le mieux

Exemple

Si une variante gagnante a été choisie pour une Personnalisation, vous pouvez :

• diminuer le pourcentage de retenue

• ajouter plus de composants à votre personnalisation pour augmenter encore plus le gain relatif

• créer une Expérience pour la même Audience pour voir comment vous pouvez améliorer votre Personnalisation.

Disponibilité des données

Les données pour Experience Insights sont traitées en temps quasi réel à des intervalles horaires.