Was ist A/B Testing?
A/B Testing (auch Split Testing) ist die Methode zwei Varianten einer Seite oder eines Elements gleichzeitig zu testen um die bessere zu identifizieren. Im Gegensatz zu Vermutungen liefert A/B Testing statistische Evidenz für Entscheidungen.
A/B Test richtig planen
Nur eine Variable ändern
Ein A/B Test ändert genau eine Sache — Headline, Button-Text, Bild, CTA-Farbe. Mehrere Änderungen gleichzeitig (multivariate Tests) erfordern deutlich mehr Traffic. Bei einer Änderung ist klar was den Unterschied gemacht hat.
Statistische Signifikanz
Ein Test ist erst aussagekräftig wenn er statistisch signifikant ist — typischerweise 95% Konfidenz-Niveau. Das bedeutet: nur 5% Wahrscheinlichkeit dass das Ergebnis Zufall ist. Nie zu früh abbrechen — auch wenn eine Variante früh führt. Mindest-Laufzeit: 1-2 Wochen (Wochentagseffekte ausgleichen).
Richtige Metriken wählen
Primärmetrik: direkt zum Geschäftsziel (Conversion Rate, Revenue). Sekundärmetriken: unterstützende Indikatoren (Klickrate, Bounce Rate). Guardrail-Metriken: was nicht verschlechtert werden darf (z.B. Checkout-Abschlussrate). Eine klare Primärmetrik pro Test.
Traffic-Aufteilung
Standard: 50/50-Split zwischen Kontrollgruppe (A) und Variante (B). Bei mehreren Varianten entsprechend aufteilen. Keine Überschneidungen mit anderen Tests. Segmentierung möglich (nur neue Nutzer, nur bestimmte Geräte) aber Stichprobengröße beachten.
A/B Testing Tools im Überblick
Google Optimize
Eingestellt 2023 — War kostenlos, Alternative nötig
VWO
Ab ~300€/Monat — Umfassend, Enterprise
Optimizely
Ab ~1.000€/Monat — Sehr mächtig, Enterprise
Convert.com
Ab ~200€/Monat — DSGVO-freundlich
AB Tasty
Auf Anfrage — KI-Features, DSGVO
Selbst gebaut
Entwicklungsaufwand — Volle Kontrolle, DSGVO
Häufig gestellte Fragen
Was mache ich wenn mein Test kein signifikantes Ergebnis liefert?
Ein 'kein Unterschied'-Ergebnis ist auch ein Ergebnis. Es bedeutet: die getestete Änderung hat keinen messbaren Effekt. Erkenntnisse dokumentieren, Hypothese überdenken, nächsten Test planen. Nicht alle Tests gewinnen — erfolgreiche CRO-Teams erwarten nur 20-30% positive Testergebnisse.
Wie lange sollte ein A/B Test laufen?
Mindestens 1-2 volle Wochen (Wochentagseffekte). Bis statistisch signifikante Ergebnisse vorliegen. Nicht abbrechen wenn eine Variante früh führt — frühes Stoppen überschätzt den Effekt systematisch. Maximaldauer: 4-6 Wochen, danach nehmen saisonale Effekte zu.