Floemdata

Veri anomalisi nasıl tespit edilir?

Elle konan eşikler neden eskir, medyan ve MAD neden ortalamadan güvenilir, yeterli geçmiş yokken kural neden susmalı? Ölçülmüş örneklerle anlatım.

Floemdata · · 5 dk okuma

"Satış %20 düşerse bana haber ver." Kulağa makul gelen bu cümle, uygulandığı ilk aydan sonra işe yaramaz hâle gelir. Eşik elle konduğu an eskimeye başlar: iş büyür, mevsim değişir, ürün kırılımı değişir. Üç ay sonra ya her şey alarm çalar ya da hiçbir şey çalmaz — ikisi de aynı kapıya çıkar, kimse bakmaz.

Elle eşik koymanın üç sorunu

  • Eşik eskiyor. Bugünün normali yarının anomalisi değil. Ciro iki katına çıktığında "%20 düşüş" bambaşka bir tutar demektir.
  • Her kırılım için ayrı eşik gerekiyor. Ürün grubu, müşteri, ambar, temsilci... Elle bakılacak eşik sayısı hızla yüzleri geçer ve kimse güncellemez.
  • Mevsimsellik elle yakalanmaz. Aralık her zaman farklıdır; sabit bir eşik aralıkta boşuna alarm çalar, şubatta gerçek düşüşü kaçırır.

Alternatif, eşiği insanın koyması değil verinin kendi geçmişinden çıkarmasıdır. Bunun için de önce doğru istatistiği seçmek gerekiyor.

Ortalama ve standart sapma neden yetmez

Klasik yaklaşım, bir değerin ortalamadan kaç standart sapma uzakta olduğuna bakmak (z-skoru). Sorun şu: ortalama ve standart sapma, tam da yakalamak istediğiniz aykırı değerden etkilenir.

Bir örnek: on bir aydır yaklaşık aynı ciroyu yapıyorsunuz, bir ay da tek seferlik büyük bir proje faturası kesildi. O tek ay ortalamayı yukarı çeker ve standart sapmayı şişirir. Ertesi ay gerçek bir düşüş olduğunda, şişmiş sapma yüzünden o düşüş "normal aralıkta" görünür. Anomali, bir önceki anomali tarafından saklanmış olur.

Sağlam alternatif: medyan ve MAD

Çözüm, aykırı değerden etkilenmeyen ölçüler kullanmak. Medyan ortalamanın yerini alır: tek bir büyük değer medyanı kıpırdatmaz. MAD (medyan mutlak sapma) standart sapmanın yerini alır: her gözlemin medyandan uzaklığının medyanı.

Sağlam z-skoru şöyle kurulur:

z = 0,6745 × (x − medyan) / MAD

Baştaki sabit keyfi değil: normal dağılımda MAD'ı standart sapmayla aynı ölçeğe getirir. Böylece "z = 3" ifadesi klasik z-skorundaki anlamını korur ve eşikler tanıdık kalır (örneğin 2,5 uyarı, 3,5 kritik).

MAD sıfır çıkarsa — yani geçmişin yarısı tam olarak aynı değerse — ortalama ve sapmaya düşülür; o da sıfırsa seri hiç değişmemiş demektir ve z hesaplanmaz. Bu önemli bir ayrıntı: değişkenliği olmayan bir seride z üretmek, sıfıra bölmeyi gizlemekten başka bir şey değildir.

Yeterli geçmiş yoksa kural susmalı

Yeni bir kurulumda elinizde iki aylık veri varken "geçmişe göre sapma" hesaplamak anlamsızdır: her şey anomali görünür, panel kırmızıya boyanır ve kullanıcı ilk gün güvenini kaybeder.

Doğru davranış, asgari bir gözlem sayısının altında hesap yapmamak. Bizim eşiğimiz 6 dönem; altında kural "izleniyor" durumunda kalır ve hiçbir sayı üretmez. Uydurma bir eşik koymak — "veri az, şimdilik %30 diyelim" — kullanıcıya yanlış bir kesinlik satmaktır.

Yön olmadan alarm anlamsızdır

Net satış dört katına çıktıysa bu bir anomalidir ama uyarı değildir. Her kuralın bir yönü olmalı: bu ölçüde beni azalış mı ilgilendiriyor, artış mı, ikisi de mi?

Ölçtüğümüz bir örnek: net satışı yapay olarak dört katına çıkardığımızda sağlam z-skoru +23,3 çıktı — istatistiksel olarak uç bir değer. Kural yine de sessiz kaldı, çünkü o kuralın yönü azalış. İyi habere alarm çalan bir sistem, kötü haberi de duyulmaz hâle getirir.

Anlık görüntü tabloları: geçmişi siz biriktirmelisiniz

Bazı tablolar zaman boyutu taşır (aylık satış hareketi gibi) ve geçmişi kendi içinde bulundurur. Bazıları ise anlık görüntüdür: alacak yaşlandırması, stok durumu, açık sipariş listesi. Bunlar "şu an" der; dün ne olduğunu söylemez.

Bu tablolarda geçmişe göre karşılaştırma yapabilmek için ölçümü siz saklamak zorundasınız. Burada kolay bir hata var: ölçümü her çalıştırmada kaydetmek. Boru saatlik koşuyorsa "asgari 6 dönem" altı saatte dolar ve karşılaştırma anlamını yitirir — altı saat önceki stokla bugünkü stoğu karşılaştırmış olursunuz. Doğrusu gözlemi gün bazında tutmak; aynı günün sonraki koşuları o günün değerini günceller.

Sebep tahmin edilmez, hesaplanır

"Satış düştü" bilgisi tek başına iş görmez; "neden" sorusunun cevabı lazım. Ama sebebi tahmin etmek — bir modele sordurmak ya da en olası hikâyeyi yazmak — uydurma bir açıklama üretme riski taşır.

Hesaplanabilir bir cevap var: aynı ölçümü kırılımla bir kez daha koşup her üyenin katkı payını bulmak. Üyenin kendi tabanına göre değişimi, toplam değişime bölünür. Çıkan liste tahmin değil, aritmetiktir.

Ölçtüğümüz örnek: net satışı %65 düşürdüğümüzde kural kritik seviyede ateşledi (z = −5,59) ve sürükleyen grupları şöyle sıraladı: Yarı Mamul %30,9, Ticari Mal %21,9, Hammadde %17,1. Kırılımı olmayan bir ölçüde bu alan boş kalır — doldurulmaz.

Kimlik kontrolleri farklı çalışır

Her kural istatistiksel değildir. Mutabakat farkı, parti bakiyesinin stokla uyuşmaması, toplamların tutmaması — bunların doğrusu tam sıfırdır. Burada geçmişe bakmak yanlış olur: "geçen ay da 12 kalem tutmuyordu, bu ay 13, normal" diyen bir sistem hatayı normalleştirir.

Kimlik kontrollerinde tek sapma bile kritiktir ve eşik sabittir. Bu kuralların geçmişe ihtiyacı yoktur; ilk günden çalışırlar.

Nasıl test edilir: iki yönlü

Bir anomali motorunu doğrulamanın tek yolu iki ayrı soruyu birden sormaktır:

  • Sağlıklı veride susuyor mu? Yanlış alarm, alarmsızlıktan daha zararlıdır — ikinci haftada kimse bakmaz. Ölçtüğümüz sonuç: sağlıklı veride altı zaman kuralının hepsi sessiz, z değerleri −1,21 ile 0,44 arasında; üç anlık kural "yeterli geçmiş yok" durumunda.
  • Gerçek sapmada ateşliyor mu? Veriyi bilerek bozup bakmak gerekir. Yapay %65 düşüşte kritik, tek bir kalem bozulduğunda kimlik kuralı kritik + kalem adı.

İkisinden biri eksikse motor işe yaramaz: susan bir motor güvenlidir ama faydasızdır, sürekli konuşan bir motor gürültüdür.

Model nerede devreye girer

Dikkat edilecek son nokta: bu hesapların hiçbirini bir dil modeline yaptırmamak. Model aritmetik yapmaz, eşik koymaz, sebep uydurmaz. Bütün hesap deterministik olarak yapılır; modele kalan iş varsa o da yalnızca verilen sayıları cümleye dökmektir. Aksi hâlde aynı soruya iki farklı cevap veren bir sistem elde edersiniz.

Floemdata anomali katmanını tam olarak bu kurallarla kurar: ölçüm raporla aynı derleyiciden geçer, bütün aritmetik deterministiktir ve bir kural neden sustuysa o da panelde yazar.

← Bütün rehberler