Floemdata
Veri ve ETL

Tekrar Çalıştırılabilir Yükleme: Çift Kayıt Olmasın

Yarıda kesilen yükleme yeniden başlayınca satırlar ikiye katlanmamalı. Eşsiz anahtar, upsert, sürüm yaklaşımı ve Floemdata'daki gerçek durum.

Floemdata · · 4 dk okuma
Aynı seviyeye dolmuş iki özdeş tank; birine bir ok, ötekine iki ok akıyor

Gece yüklemesi bağlantı koptuğu için yarıda kaldı. Sabah birisi yüklemeyi baştan çalıştırdı. Ertesi gün satış raporundaki ciro, bazı günlerde tam iki katı. Yükleme tekrar çalıştırılabilir (idempotent) olsaydı, aynı yükleme kaç kez çalışırsa çalışsın sonuç aynı kalırdı.

Çift kayıt nereden çıkar

  • Yükleme her seferinde tabloya ekler, kaynakta aynı satırın zaten var olup olmadığına bakmaz.
  • Yarıda kalan yükleme bir kısım satırı yazmış, kalanını yazmamıştır; yeniden başlatma baştan ekler.
  • Artımlı yükleme için güvenlik payı (örtüşme) bırakılır, ama örtüşen satırların nasıl ele alınacağı tanımsızdır.

Üç yaklaşım

  • Eşsiz anahtar + upsert: her satırın iş anahtarı (belge numarası, satır numarası gibi) tanımlıdır. Anahtar varsa satır güncellenir, yoksa eklenir. En yaygın ve en anlaşılır yoldur.
  • Sil ve yeniden yaz (dilim bazlı): yüklenen tarih aralığı önce silinir, sonra yazılır. Dilim açıkça sınırlı olmalı; yoksa gereğinden fazlası silinir.
  • Sürüm tutmak: her çekim ayrı sürüm olarak eklenir; okuma sırasında aynı anahtar için en son sürüm alınır. Ham katmana dokunmaz, geçmişi korur; bedeli depolamadır.

İlerleme işaretini ne zaman ilerletmeli

Artımlı yüklemede "nereye kadar yükledim" bilgisini (su işareti) yalnızca yükleme başarıyla onaylandıktan sonra ilerletin. Önce ilerletirseniz ve yükleme düşerse, aradaki satırlar bir daha çekilmez ve kimse fark etmez.

Kendi hattınızı sınayın

  • Aynı günün yüklemesini iki kez çalıştırın; satır sayısı ve toplam tutar değişmemeli.
  • Yüklemeyi ortasında durdurup yeniden başlatın; sonuç tek seferlik çalışmayla aynı olmalı.
  • Kaynakta bir satırı değiştirip yeniden çalıştırın; ambarda yeni sürüm görünmeli, ikinci satır değil.

Floemdata'da durum

Floemdata'nın artımlı çekim deseni, güncelleme tarihinden bir gün geriye örtüşmeli çeker ve iş anahtarıyla upsert eder. Bronze katmanı sadece ekler; her çekim ayrı sürüm olarak saklanır ve Silver aynı kaydın en son sürümünü alır, yani aynı satırın iki kez çekilmesi Silver'da çift kayıt üretmez. İlerleme işareti Bronze onayından sonra ilerler.

Bir istisnayı proje notlarımız açıkça yazıyor: tam çekilen ana veri tabloları (örneğin kur tablosu) Bronze'a her boru çalışmasında yeniden eklenir. 2026-09-15 tarihli bir ölçümde ikinci çalıştırma, değişmemiş 2535 ana veri satırını yeni satır olarak ekledi. Bronze anahtarının zaman damgası içermesi bugünkü kodda da duruyor. Bu sürümün Silver sonuçlarına etkisini ve düzeltilip düzeltilmediğini bu yazı için yeniden doğrulamadık; Bronze'da saklama süresi yok ve silen bir kod bulamadık.

Başlangıç için bir tabloyu seçin, yüklemesini iki kez çalıştırıp satır sayısını karşılaştırın. Sorularınız için Floemdata ekibine info@floemdata.com adresinden yazabilirsiniz.

← Bütün rehberler