ETL nedir? ELT'den farkı ve veri ambarı
ETL'in üç adımı, ELT ile farkı, artımlı yükleme ve mutabakat: veri aktarımında sonuca kimin güveneceğini belirleyen parça aslında hangisi?
ETL, üç İngilizce kelimenin kısaltmasıdır: Extract (çek), Transform (dönüştür), Load (yükle). Bir kaynaktan veriyi almak, kullanılabilir hâle getirmek ve hedefe yazmak demektir.
Üç adım
- Extract: kaynak sistemden ham veriyi okumak. İyi bir çekim, kaynağı yormaz ve iş mantığı içermez.
- Transform: tip düzeltme, tekilleştirme, iş kurallarının uygulanması. Para alanlarının ondalık hassasiyeti burada korunur.
- Load: hedef ambara yazmak. İyi bir yükleme idempotent'tir: aynı veri iki kez yüklenirse ikinci kez bir şey bozulmaz.
ETL mi, ELT mi?
ELT'de sıra değişir: veri önce hedefe ham hâliyle yüklenir, dönüşüm orada yapılır. Modern bulut ambarları hesaplama gücü ucuz olduğu için bu yolu tercih eder. Pratikte fark, dönüşümün nerede koştuğudur — kaynağın yorulmaması ilkesi ikisinde de aynıdır.
Artımlı yükleme neden şart?
Her gece bütün geçmişi yeniden çekmek küçük veride çalışır, büyük veride çalışmaz. Artımlı yükleme, 'en son nereye kadar aldım' bilgisini (su işareti) saklar ve yalnız yenisini çeker. Burada iki tuzak vardır: kaynağın tarih alanı saat içermiyorsa bir günlük örtüşme bırakmak gerekir; kayıtlar geriye dönük değişiyorsa tarih değil artan bir kimlik kullanmak gerekir.
İşin en kritik parçası: mutabakat
ETL'in başarısı 'veri aktı mı' ile değil, 'rakam tutuyor mu' ile ölçülür. Ambardaki net satış, kaynak sistemin kendi raporuyla aynı olmalıdır. Tutmuyorsa sapma gizlenmemeli, gösterilmelidir; çünkü bir kez güven kaybedilirse rapora kimse bakmaz.
Floemdata bu ilkeyi ürünün merkezine koyar: her çalışmada üretilen rakam kaynağın kendi rakamıyla karşılaştırılır, fark panelde görünür.