Floemdata
Daten & ETL

Inkrementell laden: gelöschte, rückdatierte Sätze

Inkrementelles Laden ist schnell, übersieht aber gelöschte und rückdatierte Sätze. Wie Watermark, Überlappung und Vollabzug helfen und was Floemdata heute kann.

Floemdata · · 5 Min. Lesezeit
Zeitstrahl mit Fahne; der Pfeil prüft nur rechts davon, links bleiben ein gestrichelter Ring und ein Doppelring-Punkt

Jede Nacht alle Rechnungen von vorn zu laden, dauert mit der Zeit auch in einem kleinen Unternehmen immer länger. Die übliche Lösung: nur laden, was sich seit dem letzten Lauf geändert hat. Dabei gehen stillschweigend zwei Arten von Sätzen verloren: im Quellsystem gelöschte und solche, deren Datum zurückgesetzt wurde. Der Bericht stimmt dann nicht, aber es gibt keine Fehlermeldung.

So funktioniert inkrementelles Laden

Das Data Warehouse merkt sich in einer Watermark, wie weit es gelesen hat: ein Änderungsdatum oder eine aufsteigende Nummer. Der nächste Lauf fragt nur ab, was dahinter liegt. Die Watermark darf erst nach erfolgreichem Schreiben weiterrücken, sonst überspringt ein halb abgebrochener Lauf Sätze für immer.

Falle 1: Das Datum hat keine Uhrzeit

Enthält das Änderungsdatum nur den Tag, bleibt ein am selben Tag später geänderter Satz womöglich unsichtbar, weil die Watermark den Tag schon erreicht hat. Abhilfe: etwas hinter der Watermark lesen (Überlappung) und den Ladevorgang wiederholbar machen. Kommt derselbe Satz zweimal an, darf sich das Ergebnis nicht ändern; geschrieben wird also per Upsert nach Schlüssel, nicht per Insert.

Falle 2: Rückdatierte Buchungen

Bei Buchhaltung und Lagerbewegungen muss das Belegdatum nicht heute sein; eine Bewegung kann drei Tage später mit altem Datum erfasst werden. Eine Watermark, die dem Belegdatum folgt, sieht sie nie. Robuster ist eine Folgenummer, die das Quellsystem beim Buchen automatisch vergibt.

Falle 3: Gelöschte Sätze

Eine gelöschte Zeile taucht in einer Abfrage nach Änderungsdatum nicht auf, denn es gibt keine Zeile mehr, die geändert wäre. Bekannte Wege, Löschungen in einem inkrementellen Aufbau zu erkennen:

  • Kennzeichen statt Löschen: Markiert die Quelle Sätze als storniert, statt sie zu löschen, übernehmen Sie das Kennzeichen. Stornos nicht herausfiltern.
  • Periodischer Vollabzug: Bei kleinen Tabellen (Kunden, Artikel, Lager) alles laden und vergleichen; ein Satz, der im letzten Abzug fehlt, wurde gelöscht.
  • Schlüsselvergleich: Bei großen Tabellen nur die Schlüssel laden und mit dem Warehouse abgleichen, viel günstiger als alle Zeilen.

Stand bei Floemdata

Laut Projektdokumentation und Code nutzt Floemdata vier Abrufmuster. Für Belegköpfe liest das inkrementelle Muster das Änderungsdatum des Kopfes eine feste Zahl von Tagen hinter der Watermark (Überlappung). Die Projektnotizen halten fest, dass das Änderungsdatum in SAP keine Uhrzeit enthält; geschrieben wird per Upsert nach Schlüssel. Stornierte Belege werden nicht herausgefiltert, die Stornoinformation wird in den Bronze-Layer übernommen. Bei Tabellen, die rückdatiert gebucht werden können, etwa Lagerbewegungen, ist der Fortschrittsschlüssel die Bewegungsfolgenummer, kein Datum. Die Watermark rückt erst weiter, nachdem das Schreiben in Bronze bestätigt wurde.

Für gelöschte Sätze nennt der Code als einzigen Weg den Vollabzug: kleine Stammdatentabellen werden vollständig geladen und in Silver verglichen. Einen Mechanismus, der eine physische Löschung in den großen Belegtabellen erkennt, haben wir nicht gefunden; gehen Sie also nicht davon aus, dass ein in SAP gelöschter Beleg im Warehouse verschwindet. Diese Abläufe wurden mit simulierten SAP-Daten getestet; das Lösch-Szenario ist an einem echten Kundensystem nicht verifiziert.

Zum Einstieg löschen Sie einen Satz in Ihrer eigenen Quelle und prüfen, was das Warehouse nach dem nächsten Ladevorgang zeigt. Überrascht Sie die Antwort, beginnen genau dort Problem und Lösung. Fragen an info@floemdata.com oder über Floemdata.

← Alle Leitfäden