A/B-Test im Online-Shop: Ab wann er sich lohnt und wann das Ergebnis zählt

„Teste das doch einfach“ ist der Standardtipp in fast jedem Ratgeber zur Conversion-Optimierung. Er klingt nach Wissenschaft, und mit den passenden Tools scheint er kaum etwas zu kosten. Was dabei meist fehlt: Ein A/B-Test funktioniert nur mit genug Besuchern, und diese Menge ist deutlich höher, als die meisten Shop-Betreiber denken.

In diesem Beitrag rechnen wir nach, ab welchem Volumen sich A/B-Testing lohnt, was statistische Signifikanz wirklich bedeutet und woran du ein belastbares Ergebnis erkennst. Ist dein Shop dafür noch zu klein, zeigen wir dir, was du stattdessen tun kannst.

Was ist ein A/B-Test?

Bei einem A/B-Test zeigst du einem Teil deiner Besucher die bisherige Version einer Seite (A, die Kontrolle) und dem anderen Teil eine veränderte Version (B, die Variante). Wer welche Version sieht, entscheidet der Zufall. Am Ende vergleichst du eine vorher festgelegte Kennzahl, zum Beispiel die Kaufrate oder den Umsatz pro Besucher.

Weil beide Gruppen zur selben Zeit und unter denselben Bedingungen einkaufen, kannst du einen Unterschied der Änderung zuschreiben und nicht der Saison oder dem Werbebudget. A/B-Test, A/B-Testing und Split-Test meinen im Alltag dasselbe. Eine Kurzdefinition findest du auch in unserem Glossar unter A/B-Testing.

Testarten im Vergleich

Nicht verwechseln solltest du A/B-Tests mit Umfrage-Tests wie PickFu. Dort stimmen bezahlte Testpersonen über zwei Entwürfe ab. Das geht schnell und braucht keinen eigenen Traffic, misst aber eine Meinung und keinen echten Kauf.

Wie viele Besucher brauchst du für einen A/B-Test?

Die nötige Besucherzahl hängt von zwei Werten ab: von deiner aktuellen Conversion-Rate und vom Mindesteffekt. Das ist die kleinste Verbesserung, die der Test noch zuverlässig erkennen soll. Je kleiner der Effekt, desto mehr Besucher brauchst du, und zwar nicht linear: Halbierst du den Effekt, vervierfacht sich die Stichprobe.

Die Tabelle zeigt die nötige Stichprobengröße pro Variante. Gerechnet ist mit den Standardeinstellungen gängiger Testrechner: 95 % Konfidenzniveau (zweiseitig) und 80 % Teststärke.

Besucher pro Variante, relativer Effekt. Bei zwei Varianten verdoppelt sich die Gesamtzahl. Eigene Berechnung mit der Standardformel für zwei Anteile.

Ein Beispiel: Dein Shop wandelt 2 % der Besucher in Käufer um, und du willst wissen, ob eine neue Produktseite die Kaufrate um 10 % steigert, also von 2,0 auf 2,2 %. Dafür brauchst du rund 80.700 Besucher pro Variante, zusammen gut 161.000. Für +5 % wären es schon über 315.000 pro Variante.

Die Faustformel: Zähl Bestellungen statt Besucher

Für eine schnelle Schätzung gibt es eine Faustregel aus der Statistik. Sie geht auf Lehr (1992) zurück und steht in Gerald van Belles Standardwerk „Statistical Rules of Thumb“ als erste Regel zur Stichprobengröße. Pro Variante brauchst du ungefähr 16 × p × (1 − p) ÷ d² Besucher. Dabei ist p deine Conversion-Rate und d die Verbesserung in Prozentpunkten.

Stellt man die Formel um, ergibt sich für Shops mit Conversion-Raten unter 5 % eine noch einfachere Regel: Pro Variante brauchst du grob 16 ÷ (Effekt)² Bestellungen. Für +10 % sind das etwa 1.600 Bestellungen pro Variante, für +20 % etwa 400 und für +30 % knapp 180. Wie viele Besucher das sind, ergibt sich aus deiner Conversion-Rate.

Wie lange muss der Test laufen?

Aus Stichprobe und Traffic ergibt sich die Laufzeit. Die Tabelle gilt für einen Shop mit 2 % Conversion-Rate, der seinen gesamten Traffic auf zwei Varianten aufteilt. Gerechnet wird in vollen Wochen, mindestens zwei.

Bei 10.000 Besuchern im Monat dauert der Nachweis von +10 % rund 70 Wochen, also deutlich länger als ein Jahr. In dieser Zeit ändern sich Sortiment, Saison und Werbekanäle so stark, dass das Ergebnis kaum noch etwas aussagt. Ein Shop dieser Größe kann realistisch nur Änderungen testen, die sehr stark wirken.

Rechner: Wie lange müsste dein Test laufen?

Trag deine eigenen Zahlen ein. Der Rechner nutzt dieselbe Formel wie die Tabellen. Im zweiten Reiter prüfst du ein abgeschlossenes Testergebnis auf Signifikanz.

Statistische Signifikanz einfach erklärt

Fast jedes Test-Tool zeigt am Ende eine Zahl wie „95 % Signifikanz“. Wer sie falsch liest, trifft mit gutem Gefühl falsche Entscheidungen.

Was 95 % Signifikanz bedeuten und was nicht

Die Signifikanz beantwortet eine ziemlich verdrehte Frage: Wie wahrscheinlich wäre ein so großer Unterschied, wenn beide Versionen in Wahrheit gleich gut wären? Diese Wahrscheinlichkeit heißt p-Wert. Liegt sie unter 5 %, spricht man von einem signifikanten Ergebnis auf dem 95-%-Niveau.

Das heißt nicht, dass B mit 95 % Wahrscheinlichkeit besser ist. Es sagt auch nichts darüber, wie groß der Vorteil ist. Ein signifikantes Ergebnis bedeutet nur, dass reiner Zufall als Erklärung unwahrscheinlich geworden ist.

Teststärke: die vergessene Hälfte

Die Signifikanz schützt dich davor, einen Zufall für einen Erfolg zu halten. Die Teststärke (englisch Power) schützt dich vor dem umgekehrten Fehler, nämlich einen echten Erfolg zu übersehen. Bei der üblichen Teststärke von 80 % rutscht jeder fünfte echte Effekt unbemerkt durch. Ist ein Test zu klein geplant, sinkt die Teststärke weiter. „Kein Unterschied“ heißt dann nur „zu wenig Daten“.

Warum knappe Sieger fast immer zu gut aussehen

Ein Effekt, der bei wenigen Daten die Signifikanzschwelle gerade so überspringt, ist fast immer überschätzt. Die Statistiker Andrew Gelman und John Carlin haben das als Type-M-Fehler beschrieben, wobei M für Magnitude steht, also die Größe. Bei kleinen Stichproben schaffen es vor allem die zufällig starken Ausschläge über die Schwelle. Wer dann mit „+35 %“ plant, erlebt nach der Umstellung meist einen viel kleineren Effekt.

Die meisten Ideen gewinnen nicht

Ron Kohavi, der bei Microsoft das Team für Online-Experimente leitete, hat die Ergebnisse aus zwölf Jahren ausgewertet. Etwa ein Drittel der getesteten Ideen verbesserte die Zielkennzahl, ein Drittel veränderte nichts, ein Drittel machte sie schlechter. Bei der Suchmaschine Bing lag die Erfolgsquote sogar darunter. Meldet dir ein Tool nach fast jedem Test einen Gewinner, ist Skepsis angebracht.

Wann ist ein Ergebnis wirklich belastbar?

Mit diesen sechs Regeln vermeidest du die Fehler, die aus Zufall scheinbare Sieger machen:

1. Stichprobe vorher festlegen und erreichen. Rechne vor dem Start aus, wie viele Besucher du brauchst, und werte erst danach aus. Wer laufend nachschaut und stoppt, sobald die Variante vorn liegt, verfälscht die Signifikanz. Evan Miller hat das vorgerechnet: Wer ein laufendes Experiment zehnmal prüft, hat statt der angezeigten 1 % in Wahrheit eine Irrtumswahrscheinlichkeit von 5 %.
2. In vollen Wochen testen, mindestens zwei. Am Wochenende kaufen andere Menschen als montags, und rund um den Monatsanfang ändert sich das Verhalten. Volle Wochen gleichen das aus.
3. Eine Hauptkennzahl vorher festlegen. Wer nach dem Test zehn Kennzahlen durchsieht, findet fast immer eine, die zufällig „signifikant“ besser aussieht. Für Shops eignet sich der Umsatz pro Besucher meist besser als die reine Kaufrate, weil er auch Warenkorbhöhe und Rabatte erfasst.
4. Die Gruppengrößen prüfen. Hast du 50:50 eingestellt und bekommst am Ende deutlich ungleiche Gruppen, stimmt etwas mit der Technik nicht. Fachleute nennen das Sample Ratio Mismatch. Ein solches Ergebnis solltest du verwerfen. Der Rechner oben warnt dich, wenn die Gruppen auffällig auseinanderliegen.
5. Keine Aktionen während des Tests. Ein Newsletter mit Rabattcode oder der Black Friday verändern dein Publikum. Dann misst der Test die Aktion und nicht deine Änderung.
6. Den Neuheitseffekt einplanen. Stammkunden klicken anfangs auf alles, was neu aussieht. Ein Vorsprung in den ersten Tagen schrumpft deshalb oft wieder.

Ab wann lohnt sich A/B-Testing für deinen Shop?

Weil die nötige Stichprobe vor allem von der Zahl der Bestellungen abhängt, ist sie der beste Maßstab. Die Tabelle zeigt, welchen Effekt ein vierwöchiger Test mit zwei Varianten gerade noch erkennen kann. Gerechnet ist mit 2 % Conversion-Rate, für andere Raten unter 5 % gelten ähnliche Werte.

Die Grenze liegt grob bei 500 Bestellungen im Monat. Darunter lohnt sich ein klassisches Testprogramm meist nicht, weil einzelne Änderungen so große Sprünge selten schaffen. Darüber kannst du mit einem sauber geplanten Test zur Zeit beginnen. Teste zuerst die großen Hebel: dein Nutzenversprechen im ersten Bildschirm, deine Preisstruktur und dein stärkstes Kaufargument.

Auch spezialisierte Agenturen setzen Mindestgrößen. ConversionBoosting nennt A/B-Testing auf der eigenen Website „sinnvoll ab ca. 1.000 Conversions“ pro Monat. DRIP richtet sich laut eigener Website an Shops ab 100.000 € Monatsumsatz.

Zu wenig Traffic? Diese Methoden funktionieren ohne Statistik

Ein kleiner Shop ist nicht zum Raten verurteilt. Diese Methoden liefern schon mit wenigen Besuchern brauchbare Hinweise.

Zuschauen: Sitzungsaufzeichnungen und Heatmaps

Werkzeuge wie Microsoft Clarity (kostenlos) oder Hotjar zeichnen anonymisiert auf, wie Besucher scrollen, klicken und abbrechen. Schon 20 Aufzeichnungen von Warenkorb-Abbrechern zeigen Muster, die kein Bericht ausweist, etwa Wut-Klicks auf Elemente, die nicht reagieren, oder Formularfelder, an denen viele aufgeben. Binde solche Tools über dein Consent-Banner ein.

Den Checkout-Funnel auswerten

In Shopify Analytics oder Google Analytics 4 siehst du, wie viele Besucher von der Produktseite in den Warenkorb, in die Kasse und bis zum Kauf kommen. Der Schritt mit dem größten Verlust ist dein wichtigster Ansatzpunkt.

Käufer fragen

Eine kurze Frage nach dem Kauf, etwa „Was hätte dich fast vom Kauf abgehalten?“, liefert Einwände in den Worten deiner Kunden. Daraus entstehen bessere Hypothesen als aus jedem Brainstorming.

Testpersonen abstimmen lassen

Umfrage-Tools wie PickFu lassen Testpersonen über Produktbilder, Titel oder Verpackungen abstimmen. Ergebnisse gibt es oft innerhalb von Minuten, spätestens am selben Tag. Einen echten Kauftest ersetzt das nicht, bei der Wahl zwischen zwei Entwürfen hilft es aber.

Vorher-Nachher nur mit Vorsicht

Den Umsatz vor und nach einer Änderung zu vergleichen, ist verlockend, aber unzuverlässig, denn Saison und Werbebudget ändern sich mit. Wenn überhaupt, vergleiche gleiche Wochentage und achte nur auf große, eindeutige Sprünge.

A/B-Testing-Tools für Online-Shops

Seit Google Optimize am 30. September 2023 eingestellt wurde, gibt es kein kostenloses Standardwerkzeug mehr. Diese Optionen kommen für Shops infrage.

ABlyft (von uns getestet)

ABlyft ist eine Testing-Plattform der Conversion Expert GmbH aus Kiel, mit Servern in Deutschland und Fokus auf Datenschutz. Es gibt einen Gratis-Plan für die ersten Experimente, den Bezahlplan bietet ABlyft individuell an. In unserem Test kam ABlyft auf 4,3 von 5 Punkten. Für Einsteiger ohne nennenswerten Traffic ist das Tool nach unserer Einschätzung noch eine Nummer zu groß.

Shopify-Apps (noch nicht von uns getestet)

Für Shopify gibt es Apps, mit denen du Tests direkt im Theme anlegst. Die Angaben stammen aus dem Shopify App Store, Stand 23. Oktober 2026:

• Shoplift: Tests für Themes, Vorlagen und Inhalte, im größeren Tarif auch für Preise. Ab 99 $ im Monat, 14 Tage kostenlos testbar. Der Preis richtet sich nach den monatlichen Besuchern.
• Intelligems: Tests für Landingpages, Themes und Inhalte ab 69 $ im Monat, Rabatt- und Versandtests in höheren Tarifen. 14 Tage kostenlos testbar, der Preis richtet sich nach dem Bestellvolumen.

Plattformen für große Shops

Kameleoon, Optimizely, VWO und AB Tasty richten sich an Unternehmen mit viel Traffic und eigenem Testing-Team. Für kleine und mittlere Shops sind sie meist überdimensioniert.

Datenschutz nicht vergessen

Test-Tools merken sich in der Regel per Cookie oder im Browser-Speicher, welche Variante ein Besucher sieht. Nach § 25 TDDDG ist das ohne Einwilligung nur erlaubt, wenn es „unbedingt erforderlich“ ist, damit ein ausdrücklich gewünschter Dienst funktioniert. Ob ein A/B-Test darunter fällt, ist umstritten. Auf der sicheren Seite bist du, wenn du das Tool über dein Consent-Banner einbindest. Kläre die Details mit deinem Anbieter für Rechtstexte.

Agenturen für A/B-Testing und Conversion-Optimierung

Ab einer gewissen Größe lohnt es sich, das Testing an Spezialisten abzugeben. Eine Agentur bringt Hypothesen, Design, Programmierung und eine saubere Auswertung mit. Die folgenden Agenturen haben sich auf A/B-Testing und Conversion-Optimierung spezialisiert. Die Auswahl ist nicht bezahlt, wir haben mit keiner von ihnen eine Partnerschaft.

Angaben laut Impressum und Website der Agenturen, Stand 23. Oktober 2026.

konversionsKRAFT hieß bis 2022 Web Arts AG. Vorstandschef André Morys hat das Buch „Die digitale Wachstumsstrategie“ (Springer, 2018) geschrieben, und die Agentur veranstaltet in Frankfurt die Konferenz „growth minded SUPERHEROES“.

DRIP konzentriert sich auf A/B-Testing für Online-Shops, die bereits mindestens 100.000 € im Monat umsetzen.

ConversionBoosting ist seit 2013 am Markt und bietet neben Projekten auch Zertifikatskurse zur Conversion-Optimierung an.

abscale spricht ausdrücklich auch junge Shops an und nennt öffentliche Preise. Testing-Pakete beginnen bei 2.000 € im Monat für zwei Tests, ein Grundoptimierungs-Paket für junge Shops kostet 1.900 €. Die Agentur betreibt den Podcast „E-Commerce Decoded“.

Speero ist die frühere Agentur von CXL (2020 umbenannt) und arbeitet vor allem für große Unternehmen. Ein Büro im DACH-Raum gibt es nicht.

Die Preise von abscale zeigen die Größenordnung: Schon das kleinste Testing-Paket kostet 2.000 € im Monat. Das lohnt sich erst, wenn dein Traffic genug Tests trägt, um diese Kosten durch bessere Ergebnisse wieder hereinzuholen.

Dein Einstieg diese Woche

1. Rechner ausfüllen: Trag deine Besucher und deine Conversion-Rate ein und schau, wie lange ein Test für +20 % laufen müsste.
2. Checkout-Funnel ansehen: Finde den Schritt, an dem die meisten Käufer verloren gehen.
3. Zwanzig Sitzungen anschauen: Filtere auf Besucher, die den Warenkorb erreicht und nicht gekauft haben, und notiere, wo sie hängen bleiben.
4. Eine Hypothese aufschreiben: „Wenn wir X ändern, steigt Y, weil Z.“ Ob du sie testest oder direkt umsetzt, entscheidet dein Volumen.

Häufige Fragen zum A/B-Testing

Wie lange sollte ein A/B-Test laufen?

So lange, bis die vorab berechnete Stichprobe erreicht ist, und immer in vollen Wochen, mindestens zwei. Wie viele Wochen das sind, hängt von Traffic, Conversion-Rate und erwartetem Effekt ab. Ein Shop mit 10.000 Besuchern im Monat und 2 % Conversion-Rate braucht für den Nachweis von +20 % rund 19 Wochen.

Ab wie vielen Besuchern lohnt sich ein A/B-Test?

Entscheidend sind die Bestellungen, nicht die Besucher. Als Faustregel lohnt sich ein regelmäßiges Testprogramm ab etwa 500 Bestellungen im Monat, bei 2 % Conversion-Rate sind das 25.000 Besucher. Darunter lassen sich nur sehr große Effekte nachweisen.

Was ist der Unterschied zwischen A/B-Test und Split-Test?

Im Alltag meinen beide Begriffe dasselbe: Besucher werden zufällig auf zwei Versionen verteilt. Manche Tools verstehen unter Split-Test, genauer Split-URL-Test, den Vergleich zweier getrennter Seiten mit eigenen URLs. Beim klassischen A/B-Test änderst du dagegen Elemente auf derselben Seite.

Was bedeutet statistische Signifikanz beim A/B-Test?

Sie gibt an, wie unwahrscheinlich der gemessene Unterschied wäre, wenn beide Versionen in Wahrheit gleich gut wären. Bei 95 % Signifikanz liegt diese Wahrscheinlichkeit unter 5 %. Das heißt nicht, dass B mit 95 % Wahrscheinlichkeit besser ist, und es sagt nichts über die Größe des Vorteils.

Kann ich mit Shopify A/B-Tests machen?

Ja, über Apps aus dem Shopify App Store, etwa Shoplift (ab 99 $ im Monat) oder Intelligems (ab 69 $ im Monat), beide mit 14 Tagen Testphase. Alternativ funktionieren externe Tools wie ABlyft. Prüfe vorher mit dem Rechner, ob dein Traffic für aussagekräftige Tests reicht.

Brauche ich für A/B-Tests eine Cookie-Einwilligung?

Davon solltest du in der Regel ausgehen. Test-Tools speichern im Browser, welche Variante ein Besucher sieht, und das ist nach § 25 TDDDG ohne Einwilligung nur in engen Ausnahmen erlaubt. Binde dein Tool über das Consent-Banner ein und kläre Einzelheiten mit deinem Anbieter für Rechtstexte.

Quellen

• Ron Kohavi: Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years, Keynote KDD 2015
• Ron Kohavi, Diane Tang, Ya Xu: Trustworthy Online Controlled Experiments, Cambridge University Press 2020
• Andrew Gelman, John Carlin: Beyond Power Calculations, Perspectives on Psychological Science 9(6), 2014
• Evan Miller: How Not To Run an A/B Test
• Gerald van Belle: Statistical Rules of Thumb, Kapitel 2: Sample Size (Regel 2.1, Lehrs Formel)
• Google: Einstellung von Google Optimize