Floemdata
Veri ve ETL

Veri Kalitesi: Kontrol Listesi ve Otomasyon

Veri kalitesi için kontrol listesi: eksiksizlik, tekillik, geçerlilik, tutarlılık. Hangi kontrol otomatik, hangisi insan işi olmalı, anlatıyoruz.

Floemdata · · 3 dk okuma
Dört satırlı kontrol listesi: üçü yeşil tikli, biri kırmızı çarpılı

Veri kalitesi 'bir kez kontrol et, bitti' diye bir iş değildir; her yüklemeden sonra tekrar eden küçük kontrollerden oluşur. Aşağıdaki liste, hangisinin makineye, hangisinin insana ait olduğunu da gösteriyor.

Otomatik kontroller (her yüklemede)

  • Eksiksizlik: beklenen tablolar ve dönemler geldi mi? Satır sayısı önceki yüklemeye göre makul mü?
  • Tekillik: aynı belge iki kez yüklenmiş mi? İş anahtarında yinelenen kayıt var mı?
  • Geçerlilik: tarihler gerçek tarih mi, tutarlar sayı mı, zorunlu alanlar dolu mu, kodlar tanımlı listede mi?
  • Tutarlılık: başlık toplamı satır toplamıyla tutuyor mu? Bir tablodaki müşteri kodu öteki tabloda var mı?
  • Tazelik: son başarılı yükleme ne zaman? Beklenenden eskiyse uyarı verin.
  • Kaynakla mutabakat: ambardaki toplam, kaynak sistemin kendi raporuyla tutuyor mu?

İnsan denetimi gerektirenler

  • Otomatik kuralın yakaladığı sapmanın iş açısından anlamı: gerçek bir değişiklik mi, hata mı?
  • Yeni bir kuralın eşiği: çok sıkı kural yanlış alarm, çok gevşek kural kaçırma üretir.
  • Tanım kararları: iptal edilen belge ciroya girer mi, hangi tarih esas alınır?
  • Hatanın kökü: veri mi bozuk, kaynaktaki süreç mi?

Alarm yorgunluğu

Her kontrol alarm üretirse kimse bakmaz. Kontrolleri önem sırasına koyun: durduran hata, uyarı, bilgi. Durduran hata yalnızca sonucu yanlış yapacak durumlar için olsun.

Floemdata'da

Floemdata Analytics'te iki ilke bu listeyle örtüşür (proje tasarım kararları): yükleme tekrar çalıştırıldığında aynı kayıt ikinci kez eklenmez ve mutabakat sapması gizlenmez, panelde gösterilir. Yukarıdaki liste genel bir öneridir; her maddenin üründe otomatik bir karşılığı olduğu anlamına gelmez (doğrulanmadı).

Başlamak için en çok kullandığınız raporun veri kaynağına altı kontrolün hepsini elle uygulayın, sonra otomatikleştirilebilecek olanları seçin. Sorularınız için: info@floemdata.com.

← Bütün rehberler