Mathe für E-Mail-Marketer – Stichprobengröße für A/B-Tests bestimmen

Wie wichtig regelmäßiges und fundiertes Testen im E-Mail-Marketing zur Optimierung der Performance ist, kann man gar nicht oft genug erwähnen. Häufig werden dabei A/B-Tests durchgeführt, um z.B. Betreffzeilen oder Template-Designs zu vergleichen und den Gewinner dann für den Hauptversand einzusetzen.

Entscheidend ist dabei, dass man den Zufall ausschließt und statistisch relevante Ergebnisse erhält. Grundvoraussetzung dafür ist die richtige Auswahl des Testvolumens. Um Ihnen dies näher zu bringen, unternehmen wir heute einen kleinen Ausflug in die Statistik. Auch wenn die Formeln und Definitionen auf den ersten Blick vielleicht abschreckend wirken – die Berechnung ist kein Hexenwerk und auch für Nicht-Mathematiker durchaus zu machen, also keine Angst.  

Die Berechnung der Stichprobengröße ist deshalb so wichtig, da ein zu kleines Volumen die tatsächliche Zusammensetzung der Grundgesamtheit (also allen Empfängern des Haupt-Sendouts) nicht richtig wiederspiegeln würde und somit das Ergebnis verfälscht sein kann. Andersrum kann man auch eine zu große Testgruppe wählen und belastet damit seinen Bestand unnötig, ohne die Präzision des Tests weiter zu erhöhen.

Die statistische Theorie basiert darauf, dass die Struktur der Grundgesamtheit – mit einer gewissen Sicherheit – auch in der Stichprobe vorhanden sein sollte. Die dafür notwendige Stichprobengröße lässt sich mit Hilfe einer Formel berechnen, die ich anhand eines kleines Beispiels erklären möchte. Wir möchten einen Betreffzeilentest durchführen, interessieren uns also für die Öffnungsrate. Diese lag bei den letzten Sendouts an diesen Verteiler (100.000 Empfänger) im Durchschnitt bei ca. 10% mit einer Schwankung von 2% (betrug also auch mal 8% oder 12%). Damit haben wir schon fast alle Werte für die Berechnung vorliegen, wir benötigen nur noch eine Aussage über die Sicherheit dafür, dass die Zusammensetzung in der Stichprobe der Zusammensetzung in der Grundgesamtheit entspricht (Stichwort: Signifikanzniveau). Nehmen wir an, wir ziehen nun 100 Stichproben – in wie vielen Fällen soll die Zusammensetzung der jeweiligen Stichprobe der Zusammensetzung der Grundgesamtheit entsprechen? 95 ist ein weit verbreiteter Wert in der Statistik und für diesen Zweck vollkommen ausreichend, im Bedarfsfall kann man auch 99 wählen (100 ist nicht möglich). Wir nehmen also eine Irrtumswahrscheinlichkeit von 5% bzw. 1% in Kauf, was statistisch als akzeptabel für relevante Ergebnisse gilt.

Mit Hilfe der Werte aus dem Beispiel lässt sich nun mit folgender Formel die Stichprobengröße berechnen:

Dabei ist…

n = Mindestgröße der Stichprobe (diesen Wert möchten wir berechnen)

p = der relevante Anteil in der Grundgesamtheit (z.B. die Öffnungsrate, bei uns also 10% = 0,1)

e = Abweichung des vorher gewählten Anteils (bei uns 2%, also 0,02)

z = 1,96 (bei 95 von 100 Treffern) oder 2,32 (bei 99 von 100 Treffern) (Auf die Herleitung der Zahlen verzichte ich hier, die Werte für z lassen sich für jede Errechnung der Stichprobengröße einfach mit 1,96 bzw. 2,32 übernehmen)

N = die Größe der Grundgesamtheit (bei uns also 100.000 Empfänger)

Setzen wir die Zahlen in die Formel ein, erhalten wir als Ergebnis eine Stichprobengröße von mindestens 857 Empfängern. Diese Anzahl können wir über-, sollten sie aber keinesfalls unterschreiten.

Nachdem wir nun die genau Größe unserer Stichprobe ermittelt haben, folgt ein weiterer sehr wichtiger Schritt. Die einzelnen Empfänger müssen zufällig aus dem Bestand gezogen werden. Nehmen wir z.B. die ersten 857 Empfänger einer nach dem Wohnort des Empfängers sortierten Liste, genügt die Stichprobe nicht den statistischen Anforderungen und wird das Ergebnis verzerren.

Eine E-Mail-Versandsoftware wie der eC-messenger übernimmt diese zufällige Auswahl automatisch für Sie, trotzdem ist es sicherlich sinnvoll, den Hintergrund zu kennen.

Wenn nun alle Parameter bekannt sind und die Stichprobe gezogen wurde, kann der Test beginnen. Jeweils eine Hälfte der Stichprobe erhält Version A und die andere Hälfte der Stichprobe Version B des Templates. Anschließend gilt es auszuwerten, welche Version signifikant besser performt hat und an den großen Rest des Verteilers versendet werden sollte. Auch dieser Teil wird von E-Mail-Versandsystemen vollständig übernommen, manchmal lohnt sich aber ein Blick hinter die Kulissen der Technik. Dazu kommen wir dann in der nächsten Lektion von Mathematik für E-Mail-Marketer.