Wie A/B-Tests dein Email Marketing optimieren

A/B-Testing

Die Content Planung steht, der regelmäßige Kampagnen Versand läuft – aber sind die Betreffzeilen überzeugend genug? Wird die gewünschte Click Rate erreicht? Und wie kann die Perfomance weiter optimiert werden? Das Stichwort lautet A/B-Testing. Der Begriff spricht eigentlich für sich: Zwei unterschiedliche Varianten werden parallel getestet, immer mit dem Ziel, die bessere zu bestimmen. Auch in der Email-Marketing-Welt ist A/B-Testing eine weit verbreitete und sehr beliebte Methode. Was genau bedeutet das für unseren Bereich? Und was gilt es zu beachten? Unser Überblick:

Julia

28.06.2021

Wissen

Inhalt

  1. A/B-Testing im Email Marketing

  2. Vorteile von A/B-Testing

  3. Welche Elemente können getestet werden?

  4. A/B-Tests richtig durchführen

  5. Tipps für erfolgreiches Email A/B-Testing

  6. Fazit: Von den Siegern lernen

1. A/B-Testing im Email Marketing

Im Email-Kontext geht es beim A/B-Testing darum, zwei verschiedene Varianten einer Automation Email oder eines Newsletters parallel gegeneinander zu testen um herauszufinden, welche Version eine höhere Open Rate, Click Rate und Conversion Rate erzielt und somit insgesamt besser abschneidet. Häufig werden auch die Begriffe Split-Testing oder A/B Split-Testing verwendet. Es handelt sich im Prinzip um ein kontrolliertes Experiment, mit dem Kampagnen getestet, analysiert und optimiert werden können. Dabei kann zwischen einfachen, aber auch komplexeren Tests unterschieden werden. Bei einfachen Tests wird i.d.R ein Element, wie z.B. ein Bild, Farbe des CTA oder die Betreffzeile getestet. Bei einem komplizierten Test werden mehrere Elemente gleichzeitig getestet.

Darüber hinaus kann ein A/B Test, je nach Möglichkeiten des ESPs, unterschiedlich aufgesetzt werden. Es gibt z.B. die Option, beide Newsletter-Varianten zunächst über einen gewissen Zeitraum an eine zufällige Testgruppe aus dem gesamten Email-Verteiler zu schicken und dann die Gewinner-Variante an den Rest des Verteilers zu senden. Eine andere Möglichkeit ist, beide Versionen zu 50/50 an die Newsletter-Liste zu schicken und den A/B Test so über einen gewissen Zeitraum laufen zu lassen. Über die Analytics und Auswertungen wird dann im Nachhinein geschaut, welche Variante im Schnitt besser performt hat. Wichtig ist, dass die beiden zu testenden Versionen sich nur hinsichtlich eines Merkmals unterscheiden und ansonsten identisch sind.

2. Vorteile von A/B Testing

A/B Tests sind eine bewährte Methode, um Email Marketing Maßnahmen schrittweise zu optimieren. Oft entscheiden wir bei Formulierungen oder bei der Bildauswahl nach dem Bauchgefühl und glauben, unsere Zielgruppe gut zu kennen – aber erst A/B Tests liefern stichfeste Ergebnisse, welche Betreffzeilen, Formulierungen, CTAs, Bilder und Versand-Zeitpunkte wirklich performen. Dadurch können wichtige Email KPIS, wie die Open- oder Click Rate erhöht werden, was wiederum zu einer besseren Conversion Rate und höheren Umsätzen führt.

Vorteile von A/B-Testing

3. Welche Elemente können getestet werden?

Die Antwort: Viele! Aber nicht alles macht Sinn und vor allem sollte immer nur ein Element zur Zeit getestet werden. Generell empfiehlt es sich, sowohl design- als auch textbezogene Elemente zu testen. Welches Element zunächst einem A/B Test unterzogen werden soll, hängt vor allem von den Zielen ab. Je nachdem, was das vorrangige Ziel ist, können bestimmte Elemente der Email gegeneinander getestet werden, um die jeweilige Rate zu beeinflussen.

Ist das wichtigste Ziel die Erhöhung der Open Rate, können folgende Elemente getestet werden, um bessere Ergebnisse zu erzielen:

Soll überwiegend die Click Rate verbessert werden, muss an folgenden Stellschrauben gedreht werden:

  • Bilder & Layout
  • Texte & Links
  • CTAs

Um die Conversion Rate zu maximieren, können folgende Elemente getestet werden:

  • Art & Anzahl der Produkte
  • Personalisierung
  • Art & Höhe von Anreizen

 

Open Rate, Click Rate, Conversion Rate

 

Betreffzeilen testen

Sie ist das wichtigste Kriterium für die Öffnung und entscheidet über das Schicksal einer Email: die Betreffzeile. Ganz gleich, wieviel Mühe wir uns auch beim Inhalt und dem Erstellen einer Email geben – motiviert die Betreffzeile nicht zum entscheidenden Klick, war all die Arbeit vergebens. Auszuprobieren, was bei den Empfängern ankommt ist deshalb wichtig für die langfristige Performance. Konkret getestet werden kann:

  • Die Länge der Betreffzeile
  • Formulierungen
  • Personalisierte Ansprache vs. allgemeine oder keine Ansprache
  • Sonderzeichen, Emojis und farbige Symbole
  • Nutzung von Zahlen

Alles Wissenswerte, was du zum Thema Betreffzeilen wissen musst, kannst du auch in unserem Artikel zu perfekten Betreffzeilen nachlesen.

Absendername testen

Neben der Betreffzeile ist der Absender das erste, was Empfänger im Postfach von einer Email sehen. Der Absender hat also ebenfalls einen direkten Einfluss darauf, ob eine Email geöffnet wird oder direkt im Papierkorb landet. Die Möglichkeiten für den Absendernamen und die Absenderadresse sind vielfältig: Funktioniert der Firmenname besser oder doch der Name eines Mitarbeiters im Absender? Oder vielleicht eine Kombination aus beidem? Welche Schreibweise sieht am besten aus… Die Auswahl beim Absender kann einen entscheidenden Einfluss auf die Open Rate haben und ist somit am Email-Erfolg beteiligt.

Versandzeiten testen

Wann sind deine Empfänger besonders gut zu erreichen? Werden Emails bevorzugt am Morgen oder eher abends geöffnet? Liest deine Zielgruppe ihre Emails lieber unter der Woche oder am Wochenende? Ein A/B Test zu Versandzeiten (Uhrzeiten und Wochentag) liefert Aufschluss und trägt dazu bei, deine Email Aktivitäten bestens auf die Vorlieben deiner Empfänger abzustimmen!

 

Versand Frequenz testen

Werden zu viele Newsletter verschickt, kann es passieren, dass Empfänger genervt reagieren und Emails nicht mehr öffnen – eine erhöhte Abmelderate ist die Konsequenz. Zu seltener Versand hingegen lässt die Marke schnell in Vergessenheit geraten und führt dazu, dass Empfänger den Newsletter unter Umständen als Spam markieren, weil sie sich vielleicht schon gar nicht mehr erinnern, dass sie sich dafür angemeldet haben. Pauschale Aussagen zur richtigen Versandfrequenz zu treffen ist schwierig, da dies von verschiedenen Faktoren abhängt, wie z.B. der inhaltlichen Qualität des Newsletters, aber auch vom Engagement der Empfänger. Um eine Antwort auf die Frage nach der besten Versandfrequenz zu erhalten, kann ein A/B Test mit verschiedenen Intervallen aufgesetzt werden: Mehrmals oder nur einmal wöchentlich, alle zwei Wochen oder vielleicht sogar nur monatlich? Der A/B Test wird zeigen, wie viele Newsletter für ein optimales Ergebnis verschickt werden sollten!

Visuelle Elemente testen

Bilder haben einen entscheidenden Einfluss auf die Wahrnehmung eines Newsletters und somit auch auf die der Marke. Das Design des Newsletters trägt dazu bei, dass ein Fit zu anderen Marketingaktivitäten und somit ein hoher Wiedererkennungswert vorliegt. Darüber hinaus ist ein ästhetisch ansprechendes Design entscheidend dafür, ob der Newsletter als ansprechend empfunden wird – und damit ein beeinflussender Faktor auf die Click Rate. Entscheidend ist vor allem das Headerbild, welches i.d.R ganz oben am Anfang einer Email angezeigt wird und den Ton für die folgenden Inhalte setzen sollte. Es lohnt sich also, verschiedene Bildvarianten auszuprobieren, genauso wie Formatierungen, Schrift- und Hintergrundfarben, aber auch GIFs und Videos gegeneinander zu testen.

 

Email Copy testen

Ein gutes Design ist zwar wichtig, aber um auf ganzer Linie zu überzeugen, muss der gesamte Inhalt stimmen! Teste verschiedene Formulierungen, Textlängen und die Ansprache (“Sie” vs. “Du”, Personalisierung vs. allgemeine Ansprache etc.). Auch Überschriften, Handlungsaufforderungen und Beschreibungen können und sollten gegeneinander getestet werden. Probiere außerdem verschiedene Layouts und Anordnungen der Content-Module aus sowie die Reihenfolge der Themen. Dabei sollten wichtige Punkte trotzdem immer an erster Stelle stehen. Darüber hinaus können verschiedene Werbe-Aktionen und Anreize getestet werden: versandkostenfreie Bestellung, gratis Goodie, 10 € Gutschein oder 10% Rabatt –  was performt besser und generiert höhere Umsätze? 

Email Layout testen

Das Email Layout legt die Platzierung und Gestaltung der einzelnen Elemente fest und ist sozusagen das Grundgerüst einer Email. Im ersten Schritt wird die Anzahl der Spalten und die Anordnung der Reihen festgelegt, im nächsten Schritt erfolgt die inhaltliche Platzierung – wo und wie werden Texte und visuelle Elemente sowie CTAs positioniert. Auch hier kann getestet werden: sollten Bild und Text nebeneinander oder lieber doch untereinander angeordnet werden? Funktionieren mehr Bilder besser? Welche Größen, Formen und Farben werden besser angenommen und mehr geklickt? 

CTA testen

Der CTA gehört zu den wichtigsten Bestandteilen einer Email. Er sollte deshalb eine klare und verständliche Handlungsaufforderung vorweisen und gut positioniert sein: am besten so, dass er sofort ins Auge fällt und die Email nicht erst lange gescrollt werden muss. Letztendlich geht es darum, Empfänger zum Klick auf den CTA zu motivieren – die optimale Gestaltung des CTAs auf Basis von A/B-Testing ist deshalb ein wesentlicher Faktor für den Email Erfolg. Teste am besten verschiedene Farben, Formen, Größen, Platzierungen und Formulierungen zur Handlungsaufforderung, um ein optimales Ergebnis zu erzielen.

 

Visuelle Gestaltung von Preisen testen

Für die Kaufentscheidung spielt nicht nur die Höhe des Preises eine Rolle, sondern auch die Visualisierung und Darstellung des Preises. Ein klassisches Beispiel ist die Erkenntnis, dass gebrochene Preise positiver wahrgenommen werden als gerundete Preise (z.B. wird ein Preis von 19,99€ deutlich günstiger wahrgenommen als ein Preis von 20€). Natürlich ist die Darstellung von Preisen in Emails abhängig von der generellen Preisgestaltung und Darstellung im Shop. Nichts desto trotz bietet es sich an, verschiedene Darstellungen der Preise in der Email, angelehnt an die Shop-Gestaltung, zu testen. Zum Beispiel kann die Größe, Position oder die Schriftfarbe (schwarz vs. rot) getestet werden oder die Darstellung von rabattierten Preisen als Streichpreise. Auch kann die Hintergrundfarbe getestet werden oder ein zusätzlicher Störer wie “Gratis”, “XY % Rabatt”, “Top Deal”, “Top Preis” o.ä.. Auch die Anordnung kann getestet werden, z.B. ob es wirkungsvoller ist, erst den ursprünglichen Preis und danach den neuen, günstigeren Preis anzuzeigen oder genau andersherum.

Multivariate Tests

Um ein aussagekräftiges Ergebnis zu erhalten, sollte bei einem A/B Test i.d.R immer nur ein Element zur Zeit getestet werden. Das heisst: lediglich ein Element wird verändert, ansonsten sind die beiden Email-Varianten identisch.

Darüber hinaus gibt es sog. multivariate Tests, bei denen in einer Email zwei (oder mehr) Elemente geändert und verglichen werden. Ein Beispiel: Es sollen gleichzeitig die Farbe des CTAs (rot vs. grün) und personalisierte Ansprache mit Vornamen vs. allgemeine Ansprache im Betreff der Email getestet werden. Dazu müssen wir vier Varianten der Email erstellen und versenden (2 CTAs x 2 Betreffzeilen):

a) CTA = grün + Betreffzeile mit Vornamen

b) CTA = rot + Betreffzeile mit Vornamen

c) CTA = grün + Betreff ohne Vornamen

d) CTA = rot + Betreff ohne Vornamen

In der Regel sind Tests dieser Art aber nicht besonders aussagekräftig, da statistisch kaum eine eindeutige Beziehung von Ursache-Wirkung herausgestellt werden kann.

4. A/B Tests richtig durchführen

Der beste Weg um ans Ziel zu kommen, ist eine gute Planung und die Umsetzung anhand eines klaren Prozesses. Das gilt auch fürs A/B-Testing. Folgende Schritte sollten im Prozess ablaufen:

Identifiziere das Problem und lege Ziele fest

Um mittels A/B-Testings aussagekräftige und hilfreiche Ergebnisse zu erzielen, sollte zuvor ganz klar festgelegt werden, welche Ziele erreicht werden sollen. Welches Problem ist vielleicht gerade am wichtigsten und muss angegangen werden? Welche Kennzahlen sollen verbessert werden? Wie schon zuvor erläutert, sind die folgenden im Email Marketing die häufigsten Ziele, die mithilfe von A/B-Testing erreicht werden sollen:

  • Erhöhung der Open Rate
  • Steigerung der Click Rate
  • Verbesserung der Conversion Rate
  • Mehr Umsätze

Je nachdem welches Ziel erreicht werden soll, müssen entsprechend die Elemente für den Test festgelegt werden: z.B. “Meine Open Rate hat sich in den letzten XY Monaten rapide verschlechtert und ich möchte etwas dagegen tun”. Darüber hinaus sollten auch die Testkriterien vorab festgelegt werden, d.h. die Größe der Testgruppe, der Versandzeitpunkt und die Dauer des Tests.

Definiere eine Hypothese

Nachdem das Problem festgestellt und entsprechende Ziele festgelegt wurden, muss eine Hypothese aufgestellt werden. Definiere also eine Annahme über eine Veränderung, von der du glaubst, dass sie eine Auswirkung auf die Kennzahl hat, die du verbessern möchtest, z.B. “Meine Betreffzeilen sind zu lang und motivieren nicht genug zum Öffnen der Email. Indem ich kürzere Betreffzeilen verfasse, kann ich die Open Rate positiv beeinflussen.” Dadurch hast du also das zu testende Element (die Betreffzeile) bestimmt und auch die Art und Weise, wie du sie verändern und testen möchtest (kurz vs. lang).

Teste die Hypothese

Erstelle als nächstes beide Versionen der Email und richte den A/B Test im ESP ein. Denk daran, dass es verschiedene Möglichkeiten gibt (je nach ESP): Du kannst die Email zunächst über ein bestimmtes Zeitfenster an einen Anteil der gesamten Newsletter-Liste schicken und die gewinnende Variante wird dann nach Ablauf an den Rest der Liste geschickt. Du kannst die Email-Versionen aber auch zu 50/50 aufteilen und dann zum Versandzeitpunkt in dem Verhältnis direkt an alle Empfänger schicken. Im Anschluss kannst du die Analytics auswerten und bestimmen, welche Variante “gewonnen” hat. Um eine validierte Aussage treffen zu können, solltest du den Test über einen längeren Zeitraum laufen lassen und den Test entsprechend häufig wiederholen.

Analysiere die Ergebnisse und ziehe Schlussfolgerungen

Dokumentiere laufend die Ergebnisse, sodass du sie nach Ablauf des Tests gesammelt vorliegen hast. Begutachte und werte die Ergebnisse aus: Welche Variante hat im Schnitt besser performt? Denk auch daran, die richtige Metrik im Auge zu behalten. Wenn du die Betreffzeile verändert hast, ist die Open Rate der richtige Indikator. Hast du hingegen Bilder oder CTAs verändert und getestet, ist die Click Rate von Bedeutung.

Optimierungen umsetzen

Ist der A/B Test lange genug gelaufen, sodass du aussagekräftige Daten hast und ist das Ergebnis klar, solltest du entsprechend die Optimierungen umsetzen. A/B-Tests können für Newsletter und Automation Emails durchgeführt werden. Im Fall eines Newsletter A/B Tests, solltest du das Ergebnis für deinen zukünftigen Kampagnen-Versand berücksichtigen. Das Ergebnis hat gezeigt, dass kürzere Betreffzeilen einen positiven Effekt auf die Open Rate haben? Prima – dann solltest du von nun an kurze und knackige Betreffzeilen nutzen! Hast du einen A/B-Test für eine Automation Email durchgeführt, solltest du nur noch die gewinnende Variante versenden.

 

5. Tipps für erfolgreiches Email A/B-Testing

Der Weg zur perfekten Newsletter-Variante und zum Testing-Profi und ist gar nicht so schwer! Wenn du weißt, worauf es ankommt und welche Schritte du berücksichtigen solltest, kannst du mit A/B-Testing Schritt für Schritt dein Email Marketing optimieren. Zusammenfassend haben wir dir unsere 5 Tipps für Best-Practice A/B-Testing festgehalten:

Lege Ziele fest und verfasse Hypothesen

Bestimme zunächst, was du von dem A/B Test erwartest und welches Element du untersuchen möchtest. Die Leitfrage muss sein: Was lohnt sich zu verändern bzw. was sollte angepasst werden, um ein spürbar besseres Ergebnis zu bekommen? Formuliere dann eine Hypothese, denn ohne sie kannst du die Ergebnisse kaum nachvollziehen und auch kein richtiges Fazit ziehen. Ohne vorher eine Annahme zu treffen kannst du nach Ablauf des Tests nicht sagen, ob sie sich bestätigt (oder nicht) – und genau das ist ja das Ziel beim A/B-Test.

Verändere nur ein Element

Auch wenn die Motivation, direkt mit dem A/B Testing loszulegen, groß ist: Lege dich zunächst auf ein Element zum Testen fest und vermeide es, mehrere Veränderungen gleichzeitig testen zu wollen – das führt selten zu aussagekräftigen Ergebnissen. Denn: Du weißt am Ende nicht, welches Merkmal nun verantwortlich für den Erfolg (oder Misserfolg) war. Und das hilft dir nicht weiter.

Ein Test zur Zeit

Was für die zu testenden Elemente gilt, trifft auch auf die Tests selbst zu. Du solltest immer nur einen Test zur Zeit durchführen, denn mehrere Tests gleichzeitig führen dazu, dass das Ergebnis verfälscht wird und du kannst nicht eindeutig feststellen, welcher Faktor sich wie auf die Kennzahlen ausgewirkt hat.

Die Testgruppe muss ausreichend groß sein

A/B-Testing ist i.d.R nur bei einer ausreichend großen Verteilerliste sinnvoll, denn Ergebnisse bei zu kleinen Empfängerlisten sind leider nicht aussagekräftig genug. Die Zeit und den Aufwand kann man sich deshalb an der Stelle lieber sparen und in andere Dinge investieren, wie z.B. die Lead Generierung.

Geduld zahlt sich aus 

Auch wenn Geduld nicht zu deinen Stärken gehört: Versuche, keine voreiligen Schlüsse zu ziehen und lasse den A/B-Test über einen längeren Zeitraum laufen. Du kannst dich dabei grob an deiner Versandfrequenz orientieren: Wenn du wöchentlich z.B. drei Newsletter verschickst, solltest du den Test mind. einen Monat laufen lassen, sprich vier mal wiederholen. Auch wenn es schwerfällt abzuwarten und die Ergebnisse schon eindeutig aussehen, kann das leicht täuschen und eine Fehleinschätzung sein. Und dadurch schadest du deinem Email Marketing mehr, als dass du einen Nutzen davon hast. Damit die Ergebnisse wirklich repräsentativ sind muss eine ausreichende Testzeit vorliegen. Denn nur so können statistisch signifikante Ergebnisse erreicht werden, die dann als Grundlage für deine Optimierung dienen und deine Performance steigern können.

6. Fazit: Von den Siegern lernen

Du siehst: A/B-Testing ist kein Hexenwerk und wenn du gut planst, Hypothesen formulierst und Ziele aufstellst, kannst du wertvolle Erkenntnisse über deine Empfänger sammeln, die dabei helfen, die wichtigsten Email KPIs zu verbessern und deine Performance zu optimieren. Richtig eingesetzt sind A/B Tests also eine super Möglichkeit, Email Marketing Aktivitäten Schritt für Schritt zu verbessern und laufend anzupassen. Davon profitierst nicht nur du, sondern auch deine Abonnenten, deren Vorlieben berücksichtigt werden – und sie belohnen es mit höheren Open- und Click Rates. A/B-Testing Konzepte sollten deshalb ein fester Bestandteil der Email Marketing Strategie sein und langfristig eingesetzt werden.