ERP ohne Last auslesen: Zeitfenster und Batches
Daten aus einem laufenden ERP auslesen, ohne es zu bremsen: Erstladung außerhalb der Geschäftszeit, Batches, Pausen, Timeout, Lesezugriff. Regeln bei Floemdata.

Um neun Uhr morgens stellt das Vertriebsteam Rechnungen aus, und eine für das Lager gestartete Datenextraktion bremst das ERP. Bildschirme frieren ein, Nutzer rufen an, und das Datenprojekt wird in der ersten Woche abgebrochen. Die wichtigste Regel bei der Extraktion ist, die Arbeit eines laufenden Systems nicht zu stören. Die folgenden Methoden sind allgemeine Praxis; die Zahlen dienen nur der Veranschaulichung.
Fünf Gewohnheiten, die die Last senken
- Die erste große Ladung außerhalb der Geschäftszeit. Die Erstladung, die die gesamte Historie holt, läuft nachts oder am Wochenende; spätere inkrementelle Abzüge können auch zu Geschäftszeiten laufen.
- In Batches lesen. Statt in einer Abfrage eine Million Zeilen anzufordern, holen Sie Batches fester Größe (zum Beispiel 5.000 Zeilen); jeder Batch ist kurz, und das System bekommt dazwischen Luft.
- Zwischen den Batches warten. Eine kurze Pause lässt dem ERP Raum, seinen Nutzern zu antworten.
- Abfragen ein Zeitlimit setzen. Brechen Sie eine Abfrage ab, die es überschreitet, und versuchen Sie es mit kleinerem Batch erneut.
- Nur das Geänderte holen. Speichern Sie den letzten erfolgreichen Punkt und fragen Sie beim nächsten Mal nur das danach Entstandene an; machen Sie das Laden wiederholbar, damit erneutes Holen nicht schadet.
Dem Quellsystem keine schwere Arbeit aufbürden
- Teure Arbeit wie Summieren, Gruppieren und Verbinden erledigen Sie im eigenen Warehouse, nicht im Quellsystem. Holen Sie aus der Quelle die Rohzeilen unverändert.
- Begrenzen Sie die gelesenen Felder und Tabellen auf das, was Sie wirklich brauchen.
- Überlassen Sie die Last nicht der Annahme: Messen Sie die Antwortzeit des ERP, während die Extraktion läuft.
Berechtigung ist eine eigene Frage
Leseberechtigung und Lastmanagement sind nicht dasselbe. Ein schreibgeschützter Nutzer kann nicht in das System schreiben, aber trotzdem eine schwere Abfrage ausführen und es bremsen. Denken Sie beides getrennt.
Stand bei Floemdata
Das SAP-Business-One-Extraktionsdokument von Floemdata legt diese Regeln fest: Der Agent verbindet sich mit einem schreibgeschützten Datenbanknutzer; Extraktionsabfragen enthalten kein Summieren oder Gruppieren, die Berechnung erfolgt im Warehouse; die Standard-Batchgröße beträgt 5.000 Zeilen und soll je Kunde einstellbar sein; die erste Volladung erfolgt außerhalb der Geschäftszeit, bei inkrementellen Abzügen gibt es eine kurze Wartezeit zwischen den Batches; das Abfrage-Timeout beträgt 60 Sekunden, und eine Abfrage, die es überschreitet, wird mit halbierter Batchgröße wiederholt; der letzte erfolgreiche Punkt jeder Extraktion wird lokal gespeichert. Das sind dokumentierte Entwurfsregeln. Dass wir die Wirkung auf die Antwortzeit des ERP in einer echten Kunden-SAP-Umgebung gemessen haben, können wir nicht sagen; eine solche Messung gibt es in den Unterlagen nicht.
Zum Einstieg: Wählen Sie die größte Tabelle Ihres ERP, legen Sie ein Zeitfenster außerhalb der Geschäftszeit und eine Batchgröße fest und beobachten Sie beim ersten Versuch daneben die Antwortzeit des ERP. Fragen richten Sie gern an info@floemdata.com oder über Floemdata.