Experience Insights

Mit Experience Insights können Sie analysieren, wie Ihre Experimente und Personalizations Ihren Zielen dienen.

HINWEIS: Um Experience Insights zu verwenden, müssen Sie es zunächst einrichten. Weitere Informationen zum Einrichten von Experience Insights finden Sie im Abschnitt Einrichten von Insights in der Entwicklerdokumentation.

Experience Insights verfolgt die Leistung Ihrer Personalizations und Experimente und bietet Marketers und Datenanalyst*innen Einblicke, um datengestützte Entscheidungen zu treffen. Es wurde entwickelt, um statistische Analysen bereitzustellen, ohne eine weitere Informationsquelle zu schaffen, die direkt in Ihren aktuellen Datenworkflow integriert wird.

Experience Insights bietet Ihnen klare Maßnahmen für jedes Experiment oder jede Personalization, wie zum Beispiel:

• Konversionsrate

• Durchschnittlicher Konversionswert

• Gesamtzahl der Nutzer*innen/Profile.

Darüber hinaus können Sie die Leistung einzelner Varianten vergleichen. Jede Ninetailed Experience mit einer festgelegten Kontrollgruppe ist für Leistungsvergleiche berechtigt. Wir vergleichen Varianten mit Messungen wie Verbesserung und Wahrscheinlichkeit, die Beste zu sein, und geben Ihnen mithilfe der Bayesschen Inferenz klare Einblicke in das, was am besten funktioniert.

So bewerten Sie die Leistung von Experiences:

1. Wählen Sie Ihr Erlebnis.

2. Wählen Sie Ihre Ansicht.

3. Führen Sie eine Analyse durch.

Um auf Experience Insights zuzugreifen, öffnen Sie einen beliebigen Ninetailed Experience-Eintrag in Ihrer Content Source, z. B. die Contentful Web-App.

Sobald Sie eine bestimmte Experience ausgewählt haben, klicken Sie auf die Registerkarte Insights, um die Einblicke anzuzeigen. Stellen Sie sicher, dass Sie die richtige Anzeige auswählen.

• Zeitraum

Neben dem Standard-Intervall von 30 Tagen können Sie einen beliebigen Berichtszeitraum für Ihre Experiences wählen.

• Kennzahlen

Kennzahlen sind Konversionsereignisse oder -ziele. Standardmäßig verfolgt Ninetailed die Leistung aller Kennzahlen, die Sie für alle Ihre Experiences eingerichtet haben. Je nach Art und Umfang der Kennzahl ändern sich einige Maßnahmen entsprechend.

Stellen Sie sicher, dass Sie Ihre gewünschten Kennzahlen vor Beginn eines Experiments oder einer Personalization eingerichtet haben. Sie können Kennzahlen jederzeit zu einem späteren Zeitpunkt hinzufügen. Sie sind jedoch erst verfügbar, wenn sie Ninetailed hinzugefügt wurden.

Schließlich kann eine Analyse durchgeführt werden, um Aktionspunkte abzuleiten. Die Haupttabelle enthält eine Reihe von Varianten mit entsprechenden Maßnahmen.

Wir empfehlen, jede Experience mindestens 2 Wochen lang laufen zu lassen, um Verhaltensanomalien zu berücksichtigen, bevor Sie Entscheidungen auf der Grundlage der Leistungsanalyse treffen.

Varianten

Jede Experience hat in der Regel mindestens zwei Varianten: Eine „Kontrolle“ und eine „Variante 1“.

• Kontrolle – auch als „Basisversion“ oder „Kontrollgruppe“ bezeichnet, zeigt die Werte an, bei denen einem/einer Nutzer*in keine Personalization oder Variante präsentiert wurde, mit der experimentiert wird. Dies dient als Vergleichselement für jede Personalization oder Variante.

• Variante 1 – Dies stellt die Variante oder Personalization dar, die Sie ausführen. Sie wird mit der Basisversion verglichen (oder mit anderen Varianten, wenn Sie ein Experiment mit mehreren Varianten durchführen).

Wenn Sie ein Experiment mit mehreren Varianten durchführen, werden Ihnen entsprechend mehr Werte angezeigt.

Maßnahmen

Im Mittelpunkt von Experience Insights stehen Kennzahlen, die die tatsächliche Leistung von Zielen über Experiences hinweg verfolgen. Wir verwenden die Bayessche Inferenz, um eine dynamische statistische Signifikanz zu erzielen.

Konversionsrate oder Konversionswert

Konversionen messen den Erfolg, wie viele Sitzungen oder Nutzer*innen die gegebene Kennzahl im gegebenen Zeitraum erreicht haben. Abhängig von der Kennzahl gibt es zwei Möglichkeiten, wie Konversionen angezeigt werden:

Wenn die Kennzahl eine „binäre“ Kennzahl ist, wird die Konversionsrate ausgewertet. Sie zeigt an, wie viel Prozent der Sitzungen oder Nutzer*innen die gegebene Experience zuerst gesehen haben und dann das Konversionsziel erreichen.

Wenn die Kennzahl einen „Konversionswert“ verfolgt, wird der Durchschnittswert für diese Konversion angezeigt. Sitzungen oder Nutzer*innen müssen zuerst die betreffende Experience sehen und dann das Konversionsziel erreichen. Für jede Sitzung oder jede/n Nutzer*in, der kein Konversionsziel erreicht hat oder die Experience erst danach gesehen hat, wird der Wert 0 zum Gesamtdurchschnitt addiert.

Verbesserung

Die Verbesserung misst den relativen Anstieg oder Abfall der Konversionsrate oder des Konversionswerts im Vergleich zur Kontrollgruppe. Sie wird mit der Bayesschen Inferenz berechnet, dem Branchenstandard für statistische Experimente. In Kombination mit der Wahrscheinlichkeit, die Beste zu sein, ist die Verbesserung eine führende Messung, um Aktionspunkte aus der Analyse abzuleiten.

Reichweite

Reichweite misst die Anzahl der Profile, die eine Variante im gegebenen Zeitraum erreicht hat.

Wahrscheinlichkeit, die Beste zu sein (Variante)

Die Wahrscheinlichkeit, die Beste zu sein, misst die Wahrscheinlichkeit, dass die einzelne Variante die beste von allen gegebenen Varianten ist, und basiert auf Bayesscher Inferenz und Monte-Carlo-Simulationen. Die beiden Faktoren, die zu dieser Messung beitragen, sind die Reichweite jeder Variante und die relative Verbesserung. Daher ist die „Wahrscheinlichkeit, die Beste zu sein“, eine robuste Methode, um eine statistisch signifikante Entscheidung für Gewinnvarianten zu treffen.

Beispiel

Stellen Sie sich vor, Sie führen ein Experiment für ein paar Tage durch. Nach einigen Tagen hat es nur wenige hundert Nutzer*innen erreicht. Selbst wenn eine Ihrer Varianten eine hohe Verbesserung von 50 % aufweist, ist die Wahrscheinlichkeit, die Beste zu sein, möglicherweise immer noch nicht signifikant hoch. Wenn Ihr Experiment eine große Anzahl von Nutzer*innen erreicht, aber keine Variante eine viel höhere Rate erreicht, wird die Wahrscheinlichkeit, die Beste zu sein, nicht über einen Gewinner entscheiden.

Standardmäßig hebt Ninetailed eine „Gewinnervariante“ mit dem 95%-Konfidenzniveau hervor. Das bedeutet, dass jede Variante mit einer Wahrscheinlichkeit, die Beste zu sein, die gleich oder höher als 95 % ist, ein „Gewinner“-Tag erhält.

Auswahl einer Gewinner-Variante

Das Tag ist nur beschreibend. Ninetailed ergreift keine weiteren Maßnahmen, außer einen Gewinner hervorzuheben. Je nachdem, ob Sie die Leistung eines Experiments oder einer Personalization analysieren, können Sie unterschiedliche Aktionspunkte ableiten.

Beispiel für Experimente

Wenn eine Gewinner-Variante für ein Experiment ausgewählt wurde, möchten Sie vielleicht:

• diese Variante in Ihre neue Basisversion umwandeln.

• diese neue Variante als neue Personalization verwenden.

• ein neues Experiment mit einer weiteren Variante erstellen, um weiter zu testen, was am besten funktioniert.

Beispiel für Personalizations

Wenn eine Gewinner-Variante für eine Personalization ausgewählt wurde, können Sie:

• Den Kontrollgruppen-Prozentsatz verringern

• Ihrer Personalization weitere Komponenten hinzufügen, um die Verbesserung zu verstärken.

• Ein Experiment für dieselbe Zielgruppe erstellen, um zu sehen, wie Sie Ihre Personalization verbessern können.

Daten für Experience Insights werden nahezu in Echtzeit in stündlichen Intervallen verarbeitet.