Floemdata
Veri ve ETL

ERP'yi Yormadan Veri Çekme: Pencere ve Parça

Çalışan ERP'yi yavaşlatmadan veri çıkarmak: mesai dışı ilk yükleme, parça parça okuma, bekleme araları, zaman aşımı ve salt okunur kullanıcı.

Floemdata · · 5 dk okuma
Noktalarla dolu geniş boru, sarı kollu çift üçgen bir vanada daralıp yalnız iki noktalı ince bir boruya dönüyor

Sabah dokuzda satış ekibi faturaları keserken, ambar için başlatılan bir veri çıkarımı ERP'yi yavaşlatıyor. Ekran donuyor, kullanıcılar arıyor ve veri projesi ilk hafta kapanıyor. Veri çıkarımı yaparken en önemli kural, çalışan sistemin işini bozmamaktır. Aşağıdaki yöntemler genel uygulamalardır; sayılar yalnızca anlatım içindir.

Yükü azaltan beş alışkanlık

  • İlk büyük yükü mesai dışında yapın. Geçmişin tamamını çeken ilk yükleme gece ya da hafta sonu yapılır; sonraki artımlı çekimler mesai içinde de çalışabilir.
  • Parça parça okuyun. Tek sorguyla milyon satır istemek yerine sabit boyutlu parçalar (örneğin 5.000 satır) çekin; her parça kısa sürer ve sistem arada nefes alır.
  • Parçalar arasında bekleyin. Kısa bir bekleme, ERP'nin kullanıcılara yanıt vermesine yer açar.
  • Sorguya zaman sınırı koyun. Sınırı aşan sorguyu iptal edin ve parça boyutunu küçülterek yeniden deneyin.
  • Yalnızca değişeni çekin. Son başarılı noktayı saklayın ve sonraki çekimde yalnızca ondan sonrasını isteyin; tekrar çekmenin zararsız olması için yüklemeyi yinelenebilir yapın.

Kaynağa ağır iş yüklemeyin

  • Toplama, gruplama ve birleştirme gibi pahalı işleri kaynak sistemde değil, kendi ambarınızda yapın. Kaynaktan ham satırı olduğu gibi alın.
  • Okunan alan ve tablo sayısını gerçekten ihtiyacınız olanla sınırlayın.
  • Yük ölçümünü varsayıma bırakmayın: çıkarım sürerken ERP'nin tepki süresini ölçün.

Yetki ayrı bir konudur

Okuma yetkisiyle yük yönetimi aynı şey değildir. Salt okunur bir kullanıcı sisteme yazamaz ama yine de ağır bir sorgu çalıştırıp onu yavaşlatabilir. İkisini ayrı ayrı düşünün.

Floemdata'da durum

Floemdata'nın SAP Business One çıkarım belgesi şu kuralları yazar: agent salt okunur bir veritabanı kullanıcısıyla bağlanır; çıkarım sorgularında toplama ve gruplama yoktur, hesap ambarda yapılır; varsayılan parça boyutu 5.000 satırdır ve müşteri bazında ayarlanabilir olmalıdır; ilk tam yükleme mesai dışında yapılır, artımlı çekimlerde parçalar arasında kısa bekleme konur; sorgu zaman aşımı 60 saniyedir ve aşan sorgu parça boyutu yarıya indirilerek tekrar denenir; her çıkarım için son başarılı nokta yerel olarak saklanır. Bunlar belgelenmiş tasarım kurallarıdır. Gerçek bir müşteri SAP ortamında ERP'nin yanıt süresine etkisini ölçtüğümüzü söyleyemiyoruz; böyle bir ölçüm belgelerde yok.

Başlangıç için ERP'nizden en büyük tabloyu seçin, mesai dışı bir saati ve parça boyutunu belirleyin ve ilk denemede ERP'nin yanıt süresini yan tarafta izleyin. Sorularınız için Floemdata ekibine info@floemdata.com adresinden yazabilirsiniz.

← Bütün rehberler