A/B-Testing ist das Werkzeug, mit dem aus Meinungen über Conversions Fakten werden. Das Keyword „a/b testing” hat rund 1.600 Suchanfragen im Monat und gehört damit zu den meistgesuchten Themen rund um Optimierung. Im B2B ist das Verfahren besonders wertvoll, weil hier jede einzelne Conversion hohen Wert trägt – aber auch besonders heikel, weil der Traffic oft knapp ist und Tests schnell zu Fehlschlüssen führen.
Was A/B-Testing leistet
A/B-Testing teilt Besucher zufällig in zwei Gruppen auf und spielt jeder Gruppe eine andere Variante aus. Variante A ist meist der Status quo, Variante B die Hypothese. Weil die Aufteilung zufällig und gleichzeitig erfolgt, lassen sich externe Einflüsse herausrechnen: Was die beiden Gruppen unterscheidet, ist allein die getestete Änderung.
Damit ersetzt das Verfahren Bauchgefühl durch Evidenz. In jeder seriösen Conversion-Rate-Optimierung ist der A/B-Test der Schritt, der Hypothesen überprüft, bevor sie dauerhaft umgesetzt werden. Ohne ihn bleibt jede Änderung eine Wette.
Der saubere Aufbau eines Tests
Ein verlässlicher Test folgt einer klaren Reihenfolge. Am Anfang steht keine Idee, sondern eine Beobachtung: Wo brechen Besucher ab, was zeigen Daten und Verhalten? Daraus entsteht eine Hypothese mit einer Wenn-dann-Struktur – etwa: „Wenn wir die Felder im Leadformular von fünf auf drei reduzieren, steigt die Abschlussrate, weil die Hürde sinkt.”
Entscheidend ist, immer nur ein Element zu verändern. Wer Überschrift, Bild und Button gleichzeitig anpasst, weiß bei einem Unterschied nicht, was gewirkt hat. Erst die Isolation der Variable macht das Ergebnis interpretierbar und damit übertragbar auf künftige Entscheidungen.
Stichprobengröße und Signifikanz
Der häufigste Fehler im A/B-Testing ist, einen Test zu früh zu beenden. Ein scheinbarer Sieger nach drei Tagen kann sich bei längerer Laufzeit als Zufall entpuppen. Bevor ein Test startet, sollte die nötige Stichprobengröße berechnet werden – abhängig von der Ausgangsrate und dem erwarteten Effekt.
| Parameter | Bedeutung | Faustregel |
|---|---|---|
| Konfidenzniveau | Sicherheit gegen Zufall | mindestens 95 % |
| Ausgangs-Conversion-Rate | Basiswert der Kontrolle | je niedriger, desto mehr Traffic nötig |
| Erwarteter Effekt | angestrebte Verbesserung | je kleiner, desto mehr Traffic nötig |
| Testdauer | Laufzeit | ganze Wochen, 1–4 Wochen |
| Conversions je Variante | Mindestmenge | mehrere Hundert |
Ein Test sollte zudem immer ganze Wochen abdecken, weil sich das Verhalten zwischen Werktagen und Wochenende unterscheidet. Wer am Dienstag startet und am Freitag stoppt, riskiert, einen Wochentags-Effekt für einen echten Unterschied zu halten.
Das Traffic-Problem im B2B
Viele B2B-Seiten haben schlicht nicht genug Besucher für klassische A/B-Tests. Eine Nischenseite mit 1.500 Besuchern im Monat und 3 Prozent Conversion erzeugt rund 45 Conversions – zu wenig, um in vertretbarer Zeit Signifikanz zu erreichen. Hier hilft kein Vortäuschen statistischer Sauberkeit, sondern ein anderer Ansatz.
Zwei Wege bieten sich an. Erstens: größere, mutigere Änderungen statt minimaler Variationen, weil deutliche Effekte schneller messbar sind. Eine komplett neue Landingpage-Struktur liefert eher ein klares Signal als eine veränderte Button-Farbe. Zweitens: qualitative Methoden wie Nutzerinterviews, Umfragen und Heatmaps, die nicht auf große Fallzahlen angewiesen sind.
Was sich testen lässt – und was nicht
Nicht jede Änderung verdient einen Test. Sinnvolle Kandidaten sind Elemente mit hohem Einfluss und unklarem Ausgang: Überschriften, Angebotsformulierungen, Formularlänge, die Reihenfolge von Beweisen. Offensichtliche Fehler dagegen – ein gebrochener Link, eine unverständliche Anweisung – werden nicht getestet, sondern einfach behoben.
A/B-Tests eignen sich für Optimierung innerhalb eines funktionierenden Konzepts. Sie ersetzen keine grundlegende Strategie. Wenn der gesamte Conversion Funnel falsch aufgebaut ist, bringt das Testen einzelner Buttons wenig. Erst steht das Konzept, dann die Feinjustierung.
Wie lange ein Test laufen muss: ein Rechenbeispiel
Die Frage nach der Testdauer lässt sich nicht pauschal beantworten, aber überschlagen. Eine Seite mit einer Ausgangs-Conversion-Rate von 3 Prozent, die eine Verbesserung um relative 20 Prozent nachweisen soll, braucht bei einem Konfidenzniveau von 95 Prozent grob 4.000 bis 5.000 Besucher pro Variante, also rund 8.000 bis 10.000 insgesamt. Bei 2.500 Besuchern pro Woche bedeutet das eine Laufzeit von drei bis vier Wochen.
| Ausgangsrate | Angestrebte Verbesserung | Nötige Besucher je Variante |
|---|---|---|
| 5 % | relative 20 % | rund 2.500 |
| 3 % | relative 20 % | rund 4.500 |
| 2 % | relative 20 % | rund 7.000 |
Die Tabelle macht ein zentrales Muster sichtbar: Je niedriger die Ausgangsrate und je kleiner der erwartete Effekt, desto mehr Traffic ist nötig. Genau diese Rechnung sollte vor dem Start stehen, nicht danach. Wer ohne Schätzung der Stichprobengröße startet, läuft Gefahr, einen Test entweder ewig laufen zu lassen oder ihn zu früh für entschieden zu erklären.
Häufige Denkfehler bei der Auswertung
Selbst saubere Tests werden oft falsch gelesen. Der bekannteste Fehler ist das Peeking: Wer täglich auf die Zwischenergebnisse schaut und beim ersten scheinbaren Vorsprung stoppt, erhöht das Risiko eines Fehlschlusses dramatisch, weil zufällige Schwankungen als Sieg missdeutet werden. Ein Test wird vor dem Start terminiert und erst zum festgelegten Zeitpunkt ausgewertet.
Ein zweiter Denkfehler ist das Ignorieren von Segmenten. Eine Variante kann im Durchschnitt gewinnen, aber für eine wichtige Teilgruppe verlieren, etwa für mobile Besucher oder für Anfragen aus einer bestimmten Branche. Wer nur den Gesamtwert betrachtet, übersieht solche Effekte. Der dritte Fehler ist die Verallgemeinerung eines Einzelergebnisses zu einer Regel: Was auf einer Seite für eine Zielgruppe gilt, lässt sich nicht ungeprüft auf andere übertragen.
Ergebnisse richtig interpretieren
Ein abgeschlossener Test liefert mehr als nur „A schlägt B”. Wichtig ist, das Ergebnis im Kontext zu lesen: Hat die Variante mit höherer Conversion-Rate auch bessere Leads gebracht, oder nur mehr unbrauchbare Kontakte? Eine Variante, die die Anmelderate steigert, aber die Qualität senkt, ist im B2B oft ein Rückschritt.
Deshalb gehört zu jedem Test der Blick auf die nachgelagerte Kennzahl, etwa den Anteil an Marketing Qualified Leads. Erst wenn ein Test sowohl Menge als auch Qualität verbessert oder zumindest die Qualität hält, ist er ein echter Gewinn. Diese Disziplin unterscheidet datengetriebene Optimierung von reiner Zahlenkosmetik und macht A/B-Testing zu einem verlässlichen Bestandteil der B2B-Leadgenerierung.
Häufige Fragen
Was ist A/B-Testing?
A/B-Testing ist ein Verfahren, bei dem zwei Varianten einer Seite oder eines Elements gleichzeitig an zufällig aufgeteilte Besuchergruppen ausgespielt werden, um zu messen, welche besser konvertiert. Es ersetzt Vermutungen durch belastbare Daten und ist die Grundlage datengetriebener Optimierung.
Wie viele Besucher braucht ein A/B-Test?
Das hängt von der Ausgangs-Conversion-Rate und dem erwarteten Effekt ab. Als grobe Orientierung sind bei einer Rate von rund 3 Prozent und einer angestrebten Verbesserung von 20 Prozent mehrere Tausend Besucher und einige Hundert Conversions pro Variante nötig, um statistische Signifikanz zu erreichen.
Wie lange sollte ein A/B-Test laufen?
Mindestens so lange, bis die nötige Stichprobengröße erreicht ist und ein voller Geschäftszyklus abgedeckt wurde, in der Regel ein bis vier Wochen. Tests sollten immer ganze Wochen umfassen, um Schwankungen zwischen Wochentagen und Wochenenden auszugleichen.
Was ist statistische Signifikanz beim A/B-Testing?
Statistische Signifikanz gibt an, wie wahrscheinlich ein gemessener Unterschied auf einer echten Wirkung beruht und nicht auf Zufall. Üblich ist ein Konfidenzniveau von 95 Prozent. Erst wenn dieses erreicht ist, sollte ein Test als entschieden gelten, sonst droht eine Fehlentscheidung.
Lohnt sich A/B-Testing bei wenig Traffic?
Klassische A/B-Tests brauchen viel Traffic, weshalb sie bei Nischenseiten oft zu lange dauern. In diesem Fall sind größere, mutigere Änderungen sinnvoller als kleine Variationen, ergänzt um qualitative Methoden wie Nutzerinterviews und Heatmaps, die schneller verwertbare Hinweise liefern.
Was ist der Unterschied zwischen A/B-Test und multivariatem Test?
Ein A/B-Test vergleicht zwei Varianten, die sich in genau einem Element unterscheiden. Ein multivariater Test prüft mehrere Elemente und ihre Kombinationen gleichzeitig. Multivariate Tests liefern feinere Erkenntnisse, brauchen aber deutlich mehr Traffic und eignen sich daher selten für kleinere B2B-Seiten.
