Woher wissen wir, was wirkt?
Es gibt nur eine begrenzte Zahl von Methoden, um einen Nutzen nachzuweisen. Welche möglich ist, entscheiden zwei Fragen: Lässt sich die Maßnahme per Zufall zuteilen? Und falls nicht – gibt es ein natürliches Experiment?
Von der ungünstigsten zur besten Ausgangslage:
Beobachtungsmethoden
- Stützen sich allein auf beobachtete Daten – ohne externe Zufallsquelle.
- Sie setzen eine sehr starke, nicht prüfbare Annahme voraus: dass alle relevanten Störfaktoren gemessen wurden. Historisch erwies sich das oft als falsch.
- Folge: begrenzte Zuverlässigkeit – und wo Interessen auseinandergehen, Streit statt Klärung.
- Beispiel: Beobachtungsstudien hielten die Hormonersatztherapie jahrelang für herzschützend, bis ein randomisierter Test (2002) das Gegenteil zeigte. Der „Schutz" war ein unbeobachteter Störfaktor.
Quasi-Experimente
- Nutzen eine externe, quasi-zufällige Variation aus der Welt – eine Lotterie, ein Gesetz, einen Stichtag, eine Schwelle.
- Diese Voraussetzung ist meist nicht gegeben: einsetzbar nur, wenn die Welt zufällig die passende Konstellation liefert.
- Die tragende Annahme ist nicht testbar – eingeschränkte Zuverlässigkeit.
A/B-Tests
- Initial aufwändig aufzusetzen, danach viele verlässliche Ergebnisse am laufenden Band.
- Leicht verständlich, weil auf wenigen und prüfbaren Annahmen beruhend.
- Diese Methode löste Paradigmenwechsel aus – in der Medizinforschung und im Online-Marketing.
- In der Forschung heißen sie RCTs – randomisierte kontrollierte Studien.
Was folgt daraus?
Beobachtungsmethoden liefern Nachweise nur umstritten. Quasi-Experimente liefern verlässliche – aber nur sporadisch, wenn die Welt zufällig ein natürliches Experiment hergibt. A/B-Tests sind die einzige Methode, die viele verlässliche Nutzennachweise routinemäßig und skalierbar erzeugt. Genau deshalb kippten Medizin und Online-Marketing erst mit ihnen: Ein System braucht viele Nachweise am laufenden Band, nicht einen heroischen Einzelfund.
Hier liegt die Chance für die Bildung: Unterrichtsmethodik lässt sich randomisieren – man kann eine Methode einfach und unauffällig per Zufall auf Klassen oder Gruppen verteilen. Trotzdem verhält sich das Feld, als wäre nur Beobachtung möglich. Eine etablierte, annahmenarme Methode liegt brach, die anderswo längst Paradigmenwechsel ausgelöst hat.