Experience Insights

Experience Insights vous permet d’analyser les performances de votre expérience pour comprendre comment les expériences et les personnalisations vous aident à atteindre vos objectifs. 

Le suivi des performances des personnalisations et des expérimentations fournit aux équipes marketing et aux analystes des données exploitables pour orienter leurs décisions. Ce module fournit des analyses statistiques sans créer une nouvelle source de vérité, en s’intégrant directement à vos flux de données existants.

REMARQUE : pour utiliser Experience Insights, vous devez d’abord le configurer. Pour plus d’informations sur la façon de configurer Experience Insights, consultez la section Configuration des Insights dans la documentation pour les développeurs.

Experience Insights vous fournit des données claires pour chaque expérience ou personnalisation, telles que :

• Profils – Le nombre de visiteurs uniques au cours de la période sélectionnée qui ont vu le contrôle ou l’une des variantes.

• Variante gagnante – La variante ayant enregistré au moins une conversion et 100 vues de profils, avec une probabilité d’être la meilleure (P2BB) d’au moins 95 %. 

• Valeur moyenne de conversion – Affichée pour le type de métrique Valeur. Valeur moyenne par session/utilisateur ayant vu l’expérience sur la période et le périmètre sélectionnés.

• Taux de conversion – Le nombre de conversions divisé par le nombre de profils qui ont vu l’expérience ou la personnalisation pour la métrique sélectionnée.

Il vous permet également de comparer les performances de chaque variante. Chaque expérience avec un holdout/groupe de contrôle défini peut faire l’objet d’une comparaison de performances. Nous comparons les variantes à l’aide de mesures telles que le gain relatif et la probabilité d’être le meilleure, vous donnant ainsi un aperçu clair de ce qui fonctionne le mieux, à l’aide de l’inférence bayésienne.

Les données sont mises à jour toutes les heures.

Comment évaluer la performance d’une expérience

Pour évaluer la performance des expériences :

1. Connectez-vous à l’application web Contentful.

2. Accédez à l’onglet « Contenu » et sélectionnez l’entrée correspondant à l’expérience.

3. Cliquez sur l’onglet Insights.
   

   

4. Sous Période, sélectionnez la période de reporting pour votre expérience.

5. Sous Métrique, sélectionnez la métrique pour laquelle vous souhaitez obtenir des informations.
   

   REMARQUE : assurez-vous d’avoir configuré les métriques souhaitées avant le démarrage d’une expérimentation ou d’une personnalisation. Vous pouvez toujours ajouter des métriques à un stade ultérieur. Cependant, elles ne seront disponibles qu’à partir du moment où elles auront été configurées.

   
   La page affiche maintenant des informations pour toutes les variantes définies en fonction de la période et de la mesure sélectionnées.

REMARQUE : en règle générale, nous vous recommandons de faire fonctionner chaque expérience pendant au moins 2 semaines avant de prendre des décisions basées sur l’analyse des performances. Cependant, la P2BB s’ajuste automatiquement en fonction du nombre de profils et de conversions et, selon le volume de trafic reçu par une expérience, des résultats statistiquement significatifs peuvent être disponibles plus rapidement.

Variantes

Une variante est un lien entre une expérience et une entrée Contentful. En règle générale, une expérience comporte au moins deux variantes :

• Contrôle – Également appelé « version de référence » ou « holdout ». Elle fait référence à une entrée Contentful correspondant à la version par défaut ou non personnalisée de votre contenu. 

• Variante 1 – Les variantes font référence aux entrées Contentful qui servent de variantes ou de contenu personnalisé.

Si vous exécutez une Expérience avec plusieurs variantes, davantage de valeurs s’afficheront en conséquence. 

Chaque variante nécessite une portée d’au moins 100 profils et au moins une conversion. La portée mesure le nombre de profils qu’une variante a atteints au cours de la période donnée.

Taux de conversion ou valeur de conversion

Les conversions mesurent le succès du nombre de sessions ou d’utilisateurs ayant atteint l’objectif métrique donné au cours de la période donnée. Selon la métrique, il existe deux façons d’afficher les conversions :

1. Si la métrique est « binaire », le taux de conversion est évalué. Elle indique le pourcentage de sessions ou d’utilisateurs ayant d’abord vu l’expérience donnée, puis atteint l’objectif de conversion.

2. Si la métrique suit une « valeur de conversion », la valeur moyenne de cette conversion s’affiche. Les sessions ou les utilisateurs doivent d’abord voir l’expérience en question, puis atteindre l’objectif de conversion. Pour chaque session ou utilisateur n’ayant atteint aucun objectif de conversion, ou ayant vu l’expérience uniquement après coup, une valeur de 0 est ajoutée à la moyenne globale.

Gain relatif

Le gain relatif mesure l’augmentation ou la baisse relative du taux de conversion ou de la valeur de conversion par rapport au groupe de contrôle. Il est calculé à l’aide de l’inférence bayésienne, la norme du secteur pour les expérimentations statistiques. Combiné avec la P2BB, le gain relatif est une des principales mesures pour extraire des éléments d’action de l’analyse.

Portée

La portée mesure le nombre de profils qu’une variante a atteints au cours de la période donnée.

Probabilité d’être le meilleur

La Probabilité d’être la meilleure (P2BB) mesure la probabilité que la variante individuelle soit la meilleure parmi toutes les variantes données et est basée sur l’inférence bayésienne et les simulations de Monte Carlo. Les deux facteurs qui contribuent à cette mesure sont la portée de chaque variante et le gain relatif. Par conséquent, la Probabilité d’être la meilleure est une méthode robuste pour prendre une décision statistiquement significative pour les variantes les plus performantes.

Exemple

Imaginez que vous testiez une expérience pendant quelques jours. Après plusieurs jours, elle n’a atteint que quelques centaines d’utilisateurs. Maintenant, même si l’une de vos variantes montre un gain relatif élevé de 50 %, la P2BB pourrait ne pas être significativement élevée. 

De même, si votre expérimentation touche un grand nombre d’utilisateurs mais qu’aucune variante n’affiche des performances nettement supérieures, la P2BB ne désignera aucun gagnant et l’état Aucun gagnant pour le moment s’affichera dans les Insights.

Déclarer une variante gagnante

Une variante est déclarée gagnante si elle a enregistré au moins une conversion et 100 vues de profil , avec une P2BB de 95 %. Cela signifie que toute variante répondant aux critères, avec une P2BB égale ou supérieure à 95 %, recevra l’étiquette « Gagnant ».

REMARQUE : la balise n’est que descriptive. Experience Insights ne prend aucune autre mesure que de mettre en évidence un gagnant. Selon que vous analysez les performances d’une expérience ou d’une personnalisation, vous pouvez en déduire différents éléments d’action.

Pour les expérimentations

Si une variante gagnante a été choisie pour une expérience, vous pouvez :

• Transformer cette variante en votre nouvelle référence.

• Utiliser cette nouvelle variante comme nouvelle personnalisation.

• Créer une nouvelle expérience avec une autre variante pour continuer à tester ce qui fonctionne le mieux.

Pour les personnalisations

Si une variante gagnante a été choisie pour une personnalisation, vous pouvez :

• Réduire la part attribuée au groupe de contrôle (holdout).

• Ajouter plus de composants à votre personnalisation pour augmenter encore plus le gain relatif.

• Créer une expérience pour la même audience pour voir comment vous pouvez améliorer votre personnalisation.