Verzerrungen in Berichten: Datenfallen
Berichte können trotz richtiger Zahlen täuschen: Simpson-Paradoxon, gekappte Achsen, gemittelte Verhältnisse. Häufige Fallen mit fiktiven Beispielen.

Dieser Beitrag ist keine Rechts- oder Finanzberatung. Ein Bericht kann jede Zahl richtig zeigen und den Leser dennoch zu einem falschen Schluss führen. Das Problem liegt meist nicht in den Daten, sondern darin, welcher Ausschnitt gezeigt wird und wie die Zahlen verbunden werden. Die folgenden Beispiele sind fiktiv.
Simpson-Paradoxon
Laut der Stanford Encyclopedia of Philosophy liegt das Simpson-Paradoxon vor, wenn ein Zusammenhang zwischen zwei Variablen in einer Population erscheint, verschwindet oder sich umkehrt, sobald die Population in Teilgruppen aufgeteilt wird. Dieselbe Quelle beschreibt den Fall der Zulassungen an der UC Berkeley (Bickel et al. 1975) als klassisches Beispiel: Männer hatten insgesamt die höhere Zulassungsquote, doch bei Betrachtung nach Fachbereichen zeigte sich in keinem einzelnen Fachbereich eine Benachteiligung von Frauen.
Fiktives Beispiel: Es gibt zwei Vertriebsteams. Team A erzielt bei leichten Kunden 16 Abschlüsse aus 20 Gesprächen (80 Prozent) und bei schwierigen Kunden 32 Abschlüsse aus 80 Gesprächen (40 Prozent); insgesamt 48 Abschlüsse aus 100 Gesprächen, also 48 Prozent. Team B erzielt bei leichten Kunden 60 Abschlüsse aus 80 Gesprächen (75 Prozent) und bei schwierigen Kunden 6 Abschlüsse aus 20 Gesprächen (30 Prozent); insgesamt 66 Abschlüsse, also 66 Prozent. Im Gesamtbild wirkt Team B erfolgreicher, doch A ist bei beiden Kundenarten besser. Der Unterschied kommt vom Kundenmix.
Weitere häufige Fallen
- Ein Verhältnis mitteln: Der Durchschnitt monatlicher Prozentwerte ist nicht das Gesamtverhältnis; summieren Sie Zähler und Nenner getrennt und teilen Sie dann.
- Gekappte Achse: Beginnt die Achse nicht bei null, wirkt ein kleiner Unterschied groß.
- Survivorship Bias: Werden nur noch aktive Kunden berichtet, fehlen die abgewanderten in der Tabelle, und die Zufriedenheit wirkt höher, als sie ist.
- Zeitraumwahl: Wer Anfangs- und Enddatum passend zum Ergebnis wählt, verändert den Trend; Monate ohne Berücksichtigung der Saisonalität zu vergleichen erzeugt einen scheinbaren Rückgang oder Anstieg.
- Korrelation für Ursache halten: Wenn zwei Kennzahlen sich gemeinsam bewegen, heißt das nicht, dass die eine die andere verursacht.
Gegenmaßnahmen
- Prüfen Sie eine wichtige Gesamtzahl mit mindestens einer Aufschlüsselung (Kundenart, Region, Produktgruppe).
- Zeigen Sie Zähler und Nenner von Verhältnissen nebeneinander.
- Nennen Sie Achsen- und Zeitraumwahl im Bericht.
- Geben Sie an, welche Datensätze im Bericht enthalten sind und welche nicht (Stornos, abgewanderte Kunden).
Stand bei Floemdata
Im Kennzahlenkatalog von Floemdata Analytics werden Verhältnisse (zum Beispiel der Margenprozentsatz) durch Teilen nach dem Summieren berechnet, nicht durch Mitteln; der Dimensionskatalog bietet außerdem Aufschlüsselungen wie Kundengruppe, Region und Produktgruppe. Das hilft, einige der obigen Fallen zu vermeiden, garantiert aber nicht, dass ein Bericht richtig gelesen wird. Eine automatische Erkennung von Verzerrungen oder Paradoxa ist kein verifiziertes Produktmerkmal (nicht verifiziert).
Zum Einstieg rechnen Sie eine Gesamtzahl Ihres wichtigsten Berichts mit einer Aufschlüsselung neu und prüfen, ob sich die Richtung des Ergebnisses ändert. Quelle: Stanford Encyclopedia of Philosophy, Simpson's Paradox.