A/B-Test einer Flow-E-Mail

read
Last updated at:

Du wirst lernen

Lerne, wie du die A/B-Testing-Erfahrung von Klaviyonutzen kannst, um einzelne E-Mails in einem Flow zu testen, z.B. Betreff, Rabatte, E-Mail-Inhalte usw. Du kannst sogar A/B-Tests durchfĂŒhren, um herauszufinden, ob E-Mails im Klartext besser ankommen als bildlastige HTML-E-Mails.

Über Flow und A/B-Tests

Flow E-Mail A/B-Tests umfassen die folgenden Prozesse:

  1. Du erstellst eine einzelne Flow-E-Mail und planst, dass diese E-Mail nach einer bestimmten Anzahl von Stunden oder Tagen versendet wird, so wie du es normalerweise tun wĂŒrdest.
  2. Konfiguriere zwei oder mehr E-Mail-Varianten fĂŒr diese eine Flow-E-Mail - passe den Betreff oder den Kerninhalt der E-Mail fĂŒr jede Variante an.
  3. WÀhle die Gewichtung der einzelnen Varianten, um den Prozentsatz der EmpfÀnger festzulegen, die jede E-Mail erhalten.
  4. Die Gewinner-Variante wird automatisch ausgewĂ€hlt, wenn die statistische Signifikanz erreicht ist, oder manuell auf der Grundlage der höchsten Öffnungsrate oder der höchsten Klickrate unter den Varianten ausgewĂ€hlt.

FĂŒhre einen Flow-E-Mail A/B-Test durch

Die Erstellung eines A/B-Tests kann ganz einfach mit dem Flow Builder erfolgen. Nachdem ein Test fĂŒr eine E-Mail abgeschlossen wurde, kannst du bei Bedarf einen weiteren Test fĂŒr dieselbe E-Mail erstellen. 

Einen neuen Test erstellen

  1. Um A/B-Tests fĂŒr eine einzelne E-Mail in einem Flow einzurichten, klicke im Flow Builder auf die E-Mail.
  2. Konfiguriere den Inhalt der E-Mail, falls du das noch nicht getan hast.
  3. Klick im Bereich „E-Mail-Details“ auf „A/B-Test erstellen “.
    SchaltflÀche A/B-Test erstellen im E-Mail-Detailfenster

Wenn du einen A/B-Test fĂŒr eine bestehende Flow-E-Mail erstellst, werden zwei neue Kopien der E-Mail erstellt. Wenn die Flow-E-Mail live ist und bereits versendet wurde, werden bei der Veröffentlichung des A/B-Tests die Analysen fĂŒr jede dieser Kopien separat verfolgt. Wir verfolgen die Analysen fĂŒr die ursprĂŒngliche E-Mail nicht weiter, wenn du eine Variation hinzugefĂŒgt hast.

Variation bearbeiten

Nachdem du einen neuen Test erstellt hast, gelangst du direkt zur Registerkarte A/B-Test im Fenster " Inhalte verwalten". Jeder Test enthÀlt automatisch 2 Variationen. Wenn du auf eine Variation klickst, kannst du den Variationsnamen, den Betreff, den Vorschautext, den Absendernamen und die Absender-E-Mail-Adresse bearbeiten.

  1. Um den Inhalt der E-Mail zu bearbeiten, klicke auf die SchaltflĂ€che E-Mail bearbeiten ĂŒber der E-Mail-Vorschau auf der rechten Seite.
    Wenn du die Konfigurationsoptionen fĂŒr eine bestimmte Variante ansiehst, gibt es oben rechts eine SchaltflĂ€che "E-Mail bearbeiten".

Eine neue Variation hinzufĂŒgen

Wenn du eine weitere Variante hinzufĂŒgen möchtest, musst du eine der beiden vorhandenen Varianten klonen. 

  1. Klicke auf das Klonensymbol rechts neben der Variation, auf der du deine neue Variation aufbauen möchtest.
    Die SchaltflÀche "Klonen" befindet sich rechts neben dem Namen der Variation.
  2. Dadurch wird eine neue Variante erstellt, die du Ă€ndern kannst, um sie von den ursprĂŒnglichen 2 Varianten zu unterscheiden.
    Die Klonen-Variante wird unter der ursprĂŒnglichen Variante angezeigt.

Eine Variation löschen

Ein A/B-Test muss mindestens 2 Variationen haben, also kann eine Variation nur gelöscht werden, wenn es 3 oder mehr sind. Außerdem kann eine Variation nur gelöscht werden, wenn sich ein Test im Entwurfsstatus befindet. Das Löschen von Variationen ist fĂŒr Live-A/B-Tests deaktiviert.

  1. Um eine Variation zu löschen, klicke auf das MĂŒlleimersymbol rechts neben der Variation, die du löschen möchtest.
    Die Löschtaste wird mit einem MĂŒlleimersymbol dargestellt und befindet sich rechts neben der Klontaste.

WĂ€hle das Gewicht der einzelnen Variationen

Unten auf der Registerkarte " A/B-Test" siehst du den Abschnitt " Testeinstellungen", in dem du die Gewichtung der einzelnen Variationen bearbeiten kannst - so wird der Prozentsatz der EmpfÀnger festgelegt, die jede Variation erhalten. 

Im Allgemeinen wird empfohlen, jede Variante gleich zu gewichten, aber du kannst die ProzentsÀtze nach Belieben Àndern.

Du kannst auch die Option wĂ€hlen, die Verteilung automatisch zu wĂ€hlen. Dadurch wird die Verteilung fĂŒr jede Variante zunĂ€chst gleich sein. Wenn eine der Variationen im Laufe der Zeit besser abschneidet als die anderen, passt Klaviyo die Verteilung automatisch so an, dass mehr EmpfĂ€nger/innen auf die besser abschneidende Variante geleitet werden, wĂ€hrend der Test noch lĂ€uft.

Im Bereich Testeinstellungen kannst du die Verteilung, die Gewinnerauswahl und die Notizen fĂŒr den A/B-Test konfigurieren.

Gewinnerauswahl konfigurieren

In der Standardeinstellung wÀhlen die Tests automatisch einen Gewinner auf Basis der Klickrate, aber das kann geÀndert werden.

  1. Im Bereich Testeinstellungen unten auf der Registerkarte A/B-Test kannst du auch die Gewinnerauswahl konfigurieren, indem du unter Gewinnerauswahl auf den Link Konfigurieren klickst.
    Unter dem Etikett "Gewinnerauswahl" befindet sich ein Link zum Öffnen des Modals "Gewinnerauswahl".

  2. Es erscheint ein Modal, in dem du die Gewinnmetrik stattdessen auf Öffnungsrate Ă€ndern kannst.
    FĂŒr Flow Email sind nur Öffnungsrate und Klickrate als Gewinnmetrik verfĂŒgbar.
    Die Verwendung der Klickrate wird empfohlen, da viele Faktoren wie der Apple Mail Privacy Protection (MPP) zu einer ĂŒberhöhten Öffnungsrate fĂŒhren können. AusfĂŒhrliche Informationen zu MPP-Öffnungen findest du in unserem Leitfaden iOS 15: So bereitest du dich auf Apples Änderungen vor.
    Das Modal fĂŒr die Gewinnerauswahl hat Optionen fĂŒr die Auswahl der gewinnenden Metrik (Klickrate/Open Rate) sowie fĂŒr die Aktivierung/Deaktivierung der automatischen Gewinnerauswahl.
  3. Im Bereich „Automatische Gewinnerauswahl “ gibt es zwei Optionen:
    1. Test beenden, wenn die siegreiche Metrik mit hoher statistischer Sicherheit (statistische Signifikanz) als Sieger ermittelt wird: Diese Option ist standardmĂ€ĂŸig aktiviert. Deaktiviere das KontrollkĂ€stchen neben dieser Option, wenn du den Test stattdessen manuell beenden möchtest, oder wĂ€hle die Option, den Test nach einem bestimmten Datum zu beenden.
    2. Datumsgrenze festlegen: Mit dieser Option kannst du ein bestimmtes Datum auswÀhlen, an dem der Test automatisch beendet wird.
  4. Wenn du beide Optionen auswÀhlst, wird der Test beendet, wenn die statistische Signifikanz erreicht ist oder wenn das angegebene Datum erreicht ist, je nachdem, was zuerst eintritt.
  5. Klick auf die SchaltflĂ€che „Einstellungen speichern“, um deine Konfiguration zu bestĂ€tigen.

Einen Test veröffentlichen

  1. Sobald du deine Variation konfiguriert hast, kannst du deinen Test veröffentlichen. Auf der Registerkarte A/B-Test klickst du oben rechts auf die SchaltflÀche Test veröffentlichen.
    Die SchaltflÀche Test veröffentlichen befindet sich oben rechts auf der Registerkarte A/B-Test.

  2. Es erscheint ein Modalfenster, in dem du die Veröffentlichung bestĂ€tigen musst. Klick auf die SchaltflĂ€che „Test veröffentlichen“, um das zu bestĂ€tigen.
    Es erscheint ein Modal, in dem du bestÀtigen musst, dass du den Test veröffentlichen möchtest.

Einen Test löschen

  1. Wenn du einen Test löschen möchtest, klickst du auf der Registerkarte A/B-Test auf den Pfeil neben der SchaltflÀche Test veröffentlichen und wÀhlst Löschen.
    Wenn du auf den Pfeil neben der SchaltflÀche Test veröffentlichen klickst, wird die Option Löschen angezeigt.

A/B-Testergebnisse anzeigen

  1. Du kannst die Ergebnisse eines Tests ansehen, wÀhrend er lÀuft oder nachdem er abgeschlossen ist, indem du im Flow Builder auf die E-Mail und dann auf die SchaltflÀche Test ansehen klickst.
    Die SchaltflĂ€che A/B-Test anzeigen befindet sich in der linken Seitenleiste des Flow Builders und wird angezeigt, wenn ein Test fĂŒr eine Flow-Nachricht erstellt wurde.

Dadurch gelangst du auf die Seite mit den A/B-Testergebnissen, auf der du die folgenden Metrik anzeigen kannst:

  • EmpfĂ€nger
    Wie viele Personen die E-Mail erhalten haben
  • Öffnet
    Wie viel Prozent/Anzahl der Personen die E-Mail geöffnet haben 
  • Klicks
    Wie viel Prozent/Anzahl der Personen die E-Mail angeklickt haben
  • Conversion Metrik „
    “ Zeigt die Gesamtzahl der EmpfĂ€nger an, die die Conversion-Metrik fĂŒr die ausgewĂ€hlte Conversion-Metrik fĂŒr die E-Mail ausgelöst haben, z. B. „Bestellung aufgegeben“.

Die Seite mit den A/B-Testergebnissen enthĂ€lt ein Diagramm zur Leistungsmessung sowie Statistiken zur Öffnungsrate, Klickrate und Conversion Metrik.

AusfĂŒhrlichere Informationen ĂŒber die Seite mit den A/B-Testergebnissen findest du in unserem Artikel ĂŒber die ÜberprĂŒfung der E-Mail A/B-Testergebnisse fĂŒr Flow.

Manuell einen Gewinner auswÀhlen

In den meisten FÀllen wirst du warten wollen, bis dein A/B-Test automatisch einen Gewinner auswÀhlt, aber es kann eine Situation geben, in der du einen A/B-Test vorzeitig beenden willst. In diesem Fall befolge die folgenden Schritte.

  1. Auf der Seite mit den A/B-Testergebnissen kannst du manuell eine Gewinnervariante fĂŒr den Test auswĂ€hlen, indem du auf die SchaltflĂ€che Gewinner auswĂ€hlen in der oberen rechten Ecke der Seite klickst.
    Die SchaltflÀche Gewinner auswÀhlen befindet sich oben rechts auf der Seite mit den A/B-Test-Ergebnissen.

  2. Es erscheint ein Modalfenster, in dem du aufgefordert wirst, aus jeder deiner vorhandenen Varianten einen Gewinner auszuwĂ€hlen. WĂ€hl die Variante, die du gewinnen möchtest, aus der Dropdown-Liste aus und klick dann auf die SchaltflĂ€che „Gewinner auswĂ€hlen “.
    Es erscheint ein Modal mit einem Dropdown-MenĂŒ, in dem du jede Nachrichtenvariante als Gewinner auswĂ€hlen kannst.

Wenn du den Status einer Nachricht von "live" auf "Entwurf" Ànderst, wird der Test beendet und automatisch ein Gewinner auf der Grundlage der siegreichen Metrik gewÀhlt - bei Gleichstand wird die erste Variante gewÀhlt.

ZusÀtzliche Ressourcen

Erfahre mehr ĂŒber A/B-Tests in Flow:

x
War dieser Beitrag hilfreich?
35 von 51 fanden dies hilfreich