Experimente

Experimente sind eine Art von Erlebnis, mit dem Sie verschiedene Variationen Ihres Contents testen können, um festzustellen, was bei Ihren Besucher*innen am besten ankommt. Sie können eine oder mehrere Varianten pro Experiment einrichten, sie allen Nutzer*innen oder nur bestimmten Zielgruppen anzeigen und die Leistung entweder mit Ihren eigenen Tools oder den Experience Insights analysieren.

So erstellen Sie ein Experiment:

1. Melden Sie sich bei der Contentful Web-App an.

2. Navigieren Sie zur Registerkarte „Content“.

3. Klicken Sie auf Eintrag hinzufügen und erstellen Sie einen Eintragstyp für Ninetailed Experience.

4. Wählen Sie die Option Experiment erstellen im Konfigurationsfeld.

5. Geben Sie einen Titel ein.

6. Optional: Geben Sie eine Beschreibung ein.

7. Konfigurieren Sie die Optionen für Ihr Experiment: Primäre Kennzahl, Verteilung, Traffic-Zuweisung, Zielgruppe und Komponenten.
   

Primäre Kennzahl

Die primäre Kennzahl bestimmt, wie der Erfolg eines Experiments gemessen wird oder was Erfolg definiert. Auswahl einer primären Kennzahl:

• Hilft Ihrem Team zu verstehen, was das Ziel Ihres Experiments ist.

• Wählt diese Kennzahl automatisch im Abschnitt Insights aus.

• Aktiviert den Typ mehrarmige Bandit-Verteilung.

Verteilung

Die Verteilung eines Experiments entscheidet, wie viel Prozent der Nutzer*innen, die Teil dieses Experiments sind, welcher Variante zugeordnet werden. Sie können auch Varianten hinzufügen oder entfernen, sodass Sie A/B/n-Tests durchführen können. Jedes Experiment besteht aus einer Kontrolle und mindestens einer Variante. Die Kontrolle stellt Ihren Basisversion-Content dar.

HINWEIS: Varianten werden pro Nutzer*in beibehalten, solange die Variantenverteilung für das jeweilige Experiment nicht geändert wird. Das bedeutet, dass jede/r Nutzer*in immer die gleiche Variante eines Experiments sieht. Wenn die Variantenverteilung geändert wird, werden einige Nutzer*innen möglicherweise neu zugewiesen, um eine andere Variante zu sehen.

Sie können aus den folgenden Verteilungsmodellen wählen:

• manuelle Verteilung

• gleichmäßige Verteilung

• mehrarmige Bandit-Verteilung.

Manuelle Verteilung

Wählen Sie manuell aus, wie viel Prozent des Traffics auf jede einzelne Variante verteilt werden soll. Die Summe aller Werte muss 100 % betragen. Wenn Sie nicht Ihren gesamten Traffic für das Experiment im Allgemeinen zuweisen möchten, können Sie die Traffic-Zuweisung verwenden.

Gleichmäßige Verteilung

Der Traffic wird gleichmäßig auf alle Varianten aufgeteilt.

mehrarmige Bandit-Verteilung

Contentful Personalization kann automatisch und schrittweise mehr Traffic auf die Gewinner-Variante verteilen. Diese intelligente Fähigkeit wird als mehrarmiger Bandit-Verteilungs-Ansatz bezeichnet, eine theoretisch optimale Möglichkeit, den Datenverkehr auf Varianten zu verteilen. Der Ansatz folgt der Überlegung, dass einer Variante mehr Traffic zugewiesen werden sollte, sobald es Beweise dafür gibt, dass die Variante überlegen ist. Mit dem mehrarmigen Bandit-Verteilungs-Ansatz wird die Variantenverteilung basierend auf Experience Insights aktualisiert, die aus Ihrer ausgewählten primären Kennzahl abgeleitet werden.

HINWEIS: Um die mehrarmige Bandit-Verteilung auszuwählen, müssen Sie zunächst eine primäre Kennzahl auswählen.

In der Praxis folgt die Verteilung der Wahrscheinlichkeit, die Beste zu sein (PTBB) für die ausgewählte primäre Kennzahl, z. B. erhält eine Variante mit 80 % PTBB 80 % des Traffics.

Wichtig: Die Variantenverteilung wird einmal pro Tag ausgewertet und aktualisiert.

Gewichtung

Die Gewichtung basiert auf der Wahrscheinlichkeit, die Beste zu sein (PTBB). Sobald die PTBB für Varianten berechnet ist, beginnt die Neugewichtung. Der Berechnungsprozess beginnt sofort.

Die Mindestschwelle für die PTBB beträgt 5 % pro Variante.

Um Ihr Setup zu testen, empfehlen wir Ihnen, eine separate Entwicklungsumgebung zu erstellen und Ihre Experimente dort durchzuführen. Beachten Sie, dass die Dashboards nicht in Echtzeit sind. Sie werden einmal pro Stunde aktualisiert und zeigen Konversionen, Ansichten, Konversionsrate, Verbesserung pro Variante und PTBB an.

Traffic-Zuweisung

Mit der Traffic-Zuweisung können Sie nur einen Teil aller Besucher*innen zuweisen, die für dieses Experiment in Frage kommen würden.

HINWEIS: Standardmäßig werden 100 % Ihres berechtigten Traffics Ihrem Experiment zugewiesen.

Beispiel

Stellen Sie sich vor, Sie haben ein laufendes Experiment, das nur einem Publikum mit „wiederkehrenden Besucher*innen“ angezeigt wird, mit einer Aufteilung von 50/50 auf zwei Varianten und einer Traffic-Zuteilung von 30 %.

Wir haben jetzt 1000 Nutzer*innen, die Ihre Website besuchen, und 200 von ihnen sind wiederkehrende Besucher*innen. Die Traffic-Zuweisung weist 30 % x 200 Nutzer*innen = 60 Nutzer*innen zu. Jede Variante wird 50 % dieser Nutzer*innen (jeweils 30 Nutzer*innen) angezeigt.

HINWEIS: Ähnlich wie bei der Variantenverteilung wird ein/e Nutzer*in dauerhaft entweder einem Experiment zugeordnet oder nicht. Nur wenn sich die Traffic-Zuweisung ändert, werden einige Nutzer*innen neu zugewiesen. Wenn die Traffic-Zuweisung erhöht wird, werden alle Nutzer*innen, die das Experiment bereits gesehen haben, in diesem Experiment beibehalten.

Unterschied zwischen Traffic-Zuweisung und Kontrollgruppe

Besucher*innen, die nicht an einem Experiment teilnehmen, und jene, die an der Kontrollgruppe eines Experiments teilnehmen, können den gleichen Content sehen. Dieser Fall tritt auf, wenn einige Ihrer Besucher*innen keinem Erlebnis zugewiesen sind. Sie sollten diese Nutzer*innen als statistisch voneinander verschieden erkennen. Wenn Sie diese Nutzer*innen als zu einer einzigen Gruppe gehörend betrachten und ihre Konversionsrate mit denen vergleichen, die den Content der Experimentvariante sehen, würden Sie Basisratenfehler in Ihre Analyse einführen.

• Die Kontrollgruppe hilft Ihnen, die Leistungssteigerung Ihrer Varianten zu verstehen. Nur Besucher*innen, die speziell ausgewählt wurden, um diese Kontrollgruppe zu sehen, werden in allen Analysetools wie Experience Insights auf Ihre Kontrollgruppe angerechnet.

• Wenn Sie mehrere Experiences auf derselben Komponente ausführen, schließt die Zugehörigkeit zur Kontrollgruppe Besucher*innen von allen anderen Experiences aus, die zu diesem Zeitpunkt eine niedrigere Priorität haben. Im Gegensatz dazu werden beim Ausschluss von einem Experiment (entweder aufgrund der Traffic-Zuweisung oder der Zielgruppenberechtigung) weiterhin alle anderen Experiences ausgewertet, die eine niedrigere Priorität haben, und möglicherweise eine Variante für diese angezeigt.

Zielgruppe

Die Auswahl einer Zielgruppe legt eine Berechtigungsvoraussetzung für dieses Experiment fest. Daher sehen nur Nutzer*innen, die zu diesem Zeitpunkt für diese Zielgruppe in Frage kommen, dieses Experiment.

Komponenten

Durch das Zuordnen von Komponenten können Sie auswählen, welcher Eintrag mit einem anderen ausgetauscht werden soll. Abhängig von der Anzahl der Varianten, die Sie in Ihrer Verteilungskonfiguration eingerichtet haben, können Sie eine oder mehrere Varianten zuordnen.