Wiederholbare Ladeprozesse: keine doppelten Zeilen
Ein neu gestarteter Ladevorgang darf Zeilen nicht verdoppeln. Eindeutige Schlüssel, Upsert, Versionen und was wir bei Floemdata fanden und nicht fanden.

Der nächtliche Ladevorgang brach ab, weil die Verbindung getrennt wurde. Am Morgen startete jemand ihn von vorn. Am nächsten Tag zeigt der Umsatzbericht an manchen Tagen genau den doppelten Umsatz. Wäre der Ladevorgang idempotent, bliebe das Ergebnis bei beliebig vielen Läufen gleich.
Woher doppelte Zeilen kommen
- Der Ladevorgang fügt jedes Mal ein und prüft nicht, ob die Zeile schon existiert.
- Ein unterbrochener Lauf hat einen Teil der Zeilen geschrieben und den Rest nicht; der Neustart fügt alles erneut ein.
- Beim inkrementellen Laden bleibt ein Sicherheitspuffer (Überlappung), aber wie die überlappenden Zeilen behandelt werden, ist nicht festgelegt.
Drei Ansätze
- Eindeutiger Schlüssel + Upsert: Jede Zeile hat einen fachlichen Schlüssel (etwa Belegnummer und Zeilennummer). Existiert der Schlüssel, wird aktualisiert, sonst eingefügt. Der gängigste und verständlichste Weg.
- Löschen und neu schreiben (je Zeitscheibe): Der zu ladende Datumsbereich wird zuerst gelöscht, dann geschrieben. Die Scheibe muss klar begrenzt sein, sonst wird zu viel gelöscht.
- Versionen führen: Jeder Abruf wird als eigene Version gespeichert; beim Lesen gilt je Schlüssel die neueste Version. Die Rohschicht bleibt unangetastet, die Historie bleibt erhalten; der Preis ist Speicherplatz.
Wann der Fortschrittsmarker weiterrückt
Beim inkrementellen Laden rücken Sie die Marke »bis hierher geladen« (Watermark) erst nach bestätigtem Laden weiter. Rücken Sie sie vorher weiter und der Lauf scheitert, werden die Zeilen dazwischen nie wieder abgeholt, und niemand merkt es.
Die eigene Pipeline testen
- Den Ladevorgang desselben Tages zweimal ausführen; Zeilenanzahl und Gesamtbetrag dürfen sich nicht ändern.
- Einen Lauf in der Mitte anhalten und neu starten; das Ergebnis muss dem eines einzigen sauberen Laufs entsprechen.
- Eine Zeile in der Quelle ändern und erneut laden; im Warehouse sollte eine neue Version erscheinen, keine zweite Zeile.
Stand bei Floemdata
Das inkrementelle Abrufmuster von Floemdata holt mit einem Tag Überlappung ab dem Änderungsdatum und führt ein Upsert über den fachlichen Schlüssel aus. Die Bronze-Schicht ist reine Anfügeschicht; jeder Abruf wird als eigene Version gespeichert, und Silver nimmt je Datensatz die neueste Version. Ein doppelt abgeholter Satz erzeugt in Silver also keine Dublette. Die Fortschrittsmarke rückt nach der Bronze-Bestätigung weiter.
Eine Ausnahme nennen unsere Projektnotizen offen: Vollständig abgerufene Stammdatentabellen (etwa die Wechselkurstabelle) werden bei jedem Pipeline-Lauf erneut an Bronze angehängt. In einer Messung vom 2026-09-15 fügte der zweite Lauf 2.535 unveränderte Stammdatenzeilen als neue Zeilen ein. Der Bronze-Schlüssel enthält im heutigen Code weiterhin einen Zeitstempel. Die Wirkung auf Silver-Ergebnisse und ob das inzwischen behoben wurde, haben wir nicht erneut geprüft; Bronze hat keine Aufbewahrungsfrist, und Code, der dort löscht, fanden wir nicht.
Als Einstieg wählen Sie eine Tabelle, führen deren Ladevorgang zweimal aus und vergleichen die Zeilenanzahl. Fragen an info@floemdata.com oder über Floemdata.