Veri temizliği nereden başlar? Analizden önce yapılacak 6 kontrol

Bir analizin kalitesi, kullanılan yöntemden önce verinin kendisine bağlıdır. En iyi model bile yanlış birimle girilmiş bir sütunu, iki kez sayılmış bir müşteriyi ya da "boş" yerine "0" yazılmış bir hücreyi düzeltemez. Bu yüzden laboratuvarda her çalışma aynı yerden başlar: veriyi analiz etmeden önce sorgulamak.

Aşağıdaki altı kontrol, hangi araçla çalıştığınızdan bağımsız olarak uygulanabilir. Excel, Google E-Tablolar, SQL ya da Python; mantık aynıdır.

1. Bir satır neyi temsil ediyor?

Her şey bu soruyla başlar. Bir satır bir müşteri mi, bir sipariş mi, bir sipariş kalemi mi? Bu tanım net değilse sonraki her hesap belirsizleşir. Tanımı bir cümleyle yazın ve tablonun gerçekten buna uyduğunu kontrol edin: "Her satır, tek bir siparişin tek bir ürün kalemidir."

2. Tekrar eden kayıtlar

Aynı kaydın birden fazla kez bulunması, toplamları sessizce şişirir. Benzersiz olması gereken alanı (sipariş numarası, müşteri kimliği) belirleyin ve tekrar edenleri sayın.

Dikkat edilmesi gereken nokta: her tekrar hata değildir. Aynı müşterinin iki ayrı siparişi iki ayrı satırdır. Hata, aynı olayın iki kez kaydedilmesidir. Bu ayrımı yapabilmek için birinci adımdaki tanıma geri dönersiniz.

3. Eksik değerler: boş, sıfır ve "bilinmiyor"

Eksik veri üç farklı biçimde karşınıza çıkabilir: tamamen boş hücre, yanlışlıkla girilmiş "0" ve "yok", "-", "N/A" gibi metinler. Bunlar aynı şey değildir. Boş bir indirim alanı "indirim yapılmadı" anlamına gelebilir; boş bir yaş alanı ise "bilmiyoruz" demektir.

Her sütun için eksik değerin ne anlama geldiğine karar verin ve bunu not edin. Eksikleri doldurmak (ortalama, önceki değer vb.) bir analiz kararıdır; temizlik aşamasında yapılacak iş, eksikleri görünür kılmaktır.

4. Birimler ve biçimler

Aynı sütunda hem "1.250" hem "1250,00" hem de "1,25 bin" varsa, toplamlar anlamsızlaşır. Para birimlerini, ondalık ayırıcıları ve ölçü birimlerini kontrol edin. Türkçe verilerde nokta ile virgülün karışması en sık görülen sorunlardan biridir.

Kontrol yöntemi basit: sayısal olması gereken sütunu sayıya çevirmeyi deneyin ve çevrilemeyen satırları listeleyin. O liste size neyin düzeltilmesi gerektiğini söyler.

5. Tarihler ve saat dilimleri

Tarihler, temiz göründükleri halde en çok sürpriz çıkaran alandır. Gün ve ay yer değiştirmiş olabilir (03.04 mart mı, nisan mı?), farklı sistemlerden gelen kayıtlar farklı saat dilimlerinde tutulmuş olabilir, gelecekteki bir tarih yanlışlıkla girilmiş olabilir.

En kolay test: her tarih sütununun en küçük ve en büyük değerine bakın. Beklenen aralığın dışında kalan her şey incelenmeyi hak eder.

6. Kategoriler ve uç değerler

"İstanbul", "istanbul", "İST" ve "Istanbul" aynı şehirdir, ama bir pivot tablo için dört farklı kategoridir. Her kategorik sütunun benzersiz değerlerini listeleyin ve yazım farklarını birleştirin.

Sayısal sütunlarda ise uç değerleri bulun. Uç değer otomatik olarak hata değildir; bazen en önemli bulgu oradadır. Ama her uç değerin bir açıklaması olmalıdır: gerçek mi, giriş hatası mı?

Temizlik sırasında hiçbir satırı açıklamasız silmeyin. Çıkardığınız her kaydı ve nedenini ayrı bir sayfada tutun; analiz sonuçlarını savunurken en çok bu not işinize yarar.

Örnek senaryo: aylık satış raporu

Bu bölüm, yöntemi anlatmak için kurgulanmış bir örnektir. Bir perakende ekibi, aylık satışların bir önceki aya göre belirgin biçimde arttığını görüyor. Kontroller sırasında, sistem değişikliği nedeniyle ayın ilk haftasındaki siparişlerin iki kez aktarıldığı ortaya çıkıyor. Tekrarlar ayıklandığında artış büyük ölçüde kayboluyor. Rapordaki sonuç değişmiyor gibi görünse de verilecek karar tamamen değişiyor.

Kontrol listesini sürece dönüştürmek

Bu kontrolleri bir kez yapmak yetmez; veri her güncellendiğinde tekrar edilmeleri gerekir. Bu yüzden en iyi yaklaşım, kontrolleri tekrar çalıştırılabilir bir adım haline getirmektir: bir sorgu, bir betik ya da en azından adım adım yazılmış bir kontrol listesi.

Laboratuvarda bu sürecin nasıl işlediğini protokol bölümünde anlatıyoruz. Temizlenmiş verinin hangi metriklerle izleneceğine karar vermek bir sonraki adım; bunun için doğru KPI nasıl seçilir yazımıza göz atabilirsiniz.