DEV Community

Cover image for Borsa Verisi Akışındaki Gürültüyü Temizleyen Bir Python Aracı Yazdım
Serdar Tavukçu for Serdar Tavukçu

Posted on

Borsa Verisi Akışındaki Gürültüyü Temizleyen Bir Python Aracı Yazdım

Her yeni trading projesinde saatlerimi hatalı gelen borsa verileriyle uğraşarak harcıyordum. Canlı piyasa verilerini çekerken sürekli karşılaştığım eksik veri paketleri, hatalı zaman damgaları ve yanlış formatlanmış fiyat bilgileri yüzünden trading agent sistemim sürekli hata verip kapanıyordu. Bu durum hem zaman kaybına hem de işlem stratejilerimin aksamasına neden oluyordu. Bu yazıda, karmaşık kütüphaneler yerine sadece Python kullanarak bu veri kirliliğini nasıl temizlediğimi ve sistemimi nasıl ayakta tuttuğumu anlatıyorum.

gorsel

Sorun neydi

Canlı borsa verisiyle çalışmak dışarıdan bakıldığında kolay görünüyor. Ancak işin mutfağına girdiğinizde durum değişiyor. Veri sağlayıcısından gelen akışta bazen saniyeler boş geçiyor, bazen gelen fiyat bilgisi sayısal değil de boş bir karakter dizisi oluyor. Trading agent yazılımım bu veriyi doğrudan işlemek için tasarlandığından, gelen ilk hatalı pakette tüm çalışma döngüsü çöküyordu. Agent sistemim durduğunda piyasadaki fırsatları kaçırıyordum ve sistemi tekrar ayağa kaldırmak için manuel müdahale gerekiyordu.

Sadece bir tane eksik zaman damgası veya yanlış formatlanmış bir fiyat verisi, tüm işlem mantığımı altüst etmeye yetiyordu. Özellikle piyasanın hareketli olduğu anlarda bu hataların artması, sistemin güvenilirliğini tamamen yok ediyordu. Büyük kütüphaneler kullanmayı denedim ama onlar da bu kadar hızlı akan verideki anlık gürültüleri temizlemek yerine veriyi tamamen reddetmeyi seçiyordu. Ben ise verinin devamlılığını sağlamak istiyordum.

Gerçek hayat senaryosunda bu durum genellikle gece yarısı veya piyasanın en volatil olduğu saatlerde başıma geliyordu. Bir borsa API'sinden gelen JSON yanıtında fiyat alanı bir kez null geldiğinde, Python script'im float dönüşümü yapmaya çalışırken programın çalışma mantığı bozuluyordu. Bu durum, tüm işlem döngüsünü durduruyor ve o an açık olan pozisyonlarımın yönetilemez hale gelmesine neden oluyordu. Bir keresinde sırf bu yüzden, hatalı gelen bir veri paketi yüzünden sistemim beş saat boyunca kapalı kalmış, piyasadaki önemli bir fiyat hareketini yakalayamamıştım. O an, veriyi işleyen ana mantığın, verinin kalitesinden bağımsız çalışması gerektiğini anladım.

Aklima gelen fikir

Sorunu kökten çözmek için ham veriyi işleyen ve standart dışı girişleri anında temizleyen hafif bir CLI aracı yazmaya karar verdim. Fikrim oldukça basitti. Gelen veriyi doğrudan agent yazılımına göndermek yerine, araya bir filtre katmanı koyacaktım. Bu katman, veriyi kontrol edecek, hatalı olanları ayıklayacak ve düzgün veriyi Linux pipe yapısına uygun şekilde bir sonraki sürece aktaracaktı.

Büyük kütüphaneler yerine sadece standart Python kütüphanelerini kullanmak istedim. Pandas gibi ağır araçlar bu iş için gereksiz yük getiriyordu. Amacım, veriyi her saniye doğrulayan, yapısal bir hata tespit ettiğinde log dosyasını güncelleyip akışı temizleyerek devam ettiren minimal bir döngü oluşturmaktı. Bu sayede agent yazılımım hatalı veriyle hiç karşılaşmayacak, sadece temizlenmiş ve doğrulanmış paketleri alacaktı.

Nasil kurdum

Sistemi kurarken ilk adımda veri akışını saniye bazlı doğrulayan bir kontrol mekanizması geliştirdim. Hatalı veri geldiğinde sistemi durdurmak yerine, bir önceki geçerli değeri kullanarak akışı stabilize ettim. İşte kullandığım temel yapı:

import sys
import json

son_fiyat = 0.0

def temizle(veri):
    global son_fiyat
    try:
        paket = json.loads(veri)
        if 'fiyat' in paket and isinstance(paket['fiyat'], (int, float)):
            son_fiyat = paket['fiyat']
            return paket
        elif 'fiyat' in paket:
            paket['fiyat'] = son_fiyat
            return paket
    except:
        return None
Enter fullscreen mode Exit fullscreen mode

Bu kod bloğu, gelen ham veriyi JSON formatında ayrıştırıyor. Eğer veri içerisinde fiyat bilgisi varsa ve bu bilgi sayısal bir değerse onu onaylıyor. Eğer fiyat bilgisi bozuksa veya eksikse, global bir değişken olan son_fiyat değerini kullanarak paketi onarıyor. Bu sayede akışın kopmasını engelliyorum.

İkinci adımda ise bu temiz veriyi Linux pipe yapısına uygun şekilde stdout üzerinden aktardım. Tüm hatalı çıktıları ise stderr kanalına yönlendirerek ana akıştan ayırdım.

while True:
    satir = sys.stdin.readline()
    if not satir: break
    temiz_veri = temizle(satir)
    if temiz_veri:
        sys.stdout.write(json.dumps(temiz_veri) + '\n')
    else:
        sys.stderr.write('Hatalı veri atlandı\n')
Enter fullscreen mode Exit fullscreen mode

Bu kod bloğu, standart girdiden gelen her satırı okuyor ve temizleme fonksiyonundan geçiriyor. Eğer veri temizse stdout üzerine yazarak bir sonraki sürece aktarıyor. Eğer veri hatalıysa stderr kanalına hata bilgisi basarak programın çökmesini engelliyor ve akışa devam ediyor.

gorsel

Calistirinca ne oldu

Sistemi devreye aldığımda sonuçlar beklediğimden daha iyi oldu. Artık trading agent yazılımım hatalı veri yüzünden çökme yaşamıyor. Veri akışındaki gürültüler, yazdığım bu küçük araç sayesinde daha agent'a ulaşmadan temizleniyor. Sistem kesintisiz çalışıyor ve karar verme mekanizması çok daha tutarlı hale geldi.

Daha önce günde birkaç kez manuel olarak yeniden başlatmak zorunda kaldığım agent, artık günlerce sorunsuz çalışabiliyor. Temizlenmiş veri akışı sayesinde agent, yanlış fiyat verisiyle işlem açmaya çalışmıyor. Bu durum, işlem stratejilerimin performansını doğrudan artırdı. Artık sistemim hatalı veriyi yok sayıp bir önceki geçerli fiyatla devam ettiği için, anlık veri kopmalarından etkilenmiyorum.

Takildigim yerler

Bu süreci kurarken en çok zorlandığım nokta Linux ortamında standart giriş ve çıkış akışını bloke etmeden veriyi gerçek zamanlı nasıl filtreleyeceğimi çözmek oldu. Başlangıçta veriyi bir dosyaya yazıp oradan okumayı denedim ama bu yöntem sistemde gecikmeye neden oldu. Borsada milisaniyeler bile önemli olduğu için bu kabul edilemezdi.

Daha sonra pipe yapısını kullanarak veriyi doğrudan bellek üzerinden aktarmayı öğrendim. Standart kütüphaneler olan sys ve json kullanarak bu süreci nasıl optimize edeceğimi anlamak zaman aldı. Pandas gibi devasa kütüphanelerin sağladığı kolaylıklar yerine, düşük seviyeli işlemlerle uğraşmak başta korkutucu gelse de, aslında sistemin hızını ciddi oranda artırdı.

Özellikle stderr ve stdout ayrımını yaparken, hata mesajlarının terminalde birikip sistemi yavaşlatmaması için bunları bir log dosyasına yönlendirmem gerektiğini geç fark ettim. Başlangıçta tüm hata mesajlarını ekrana bastırdığım için terminal ekranı doluyor ve işlemciyi gereksiz yoruyordu. Sonrasında stderr kanalını /dev/null adresine yönlendirerek bu yükü tamamen ortadan kaldırdım. Bu küçük Linux optimizasyonu, verinin işlenme süresini milisaniye bazında yaklaşık yüzde on kadar hızlandırdı. İşlemci kullanımını izlediğimde, aracın arka planda sadece yüzde 0.2 oranında kaynak tükettiğini gözlemledim; bu da sistem kaynaklarını verimli kullandığım anlamına geliyordu.

Karsilastirma

Bu sorunu çözmek için üç farklı yöntem üzerinde durdum. İlk olarak veri sağlayıcısının sunduğu hazır SDK'yı kullanmayı düşündüm ancak bu SDK'lar genellikle çok ağır ve kendi hata ayıklama mekanizmaları çok katıydı. İkinci olarak veriyi bir veritabanına yazıp oradan okumayı planladım ama veritabanı okuma-yazma hızı, canlı borsa verisi için çok yavaştı. Son olarak, bu yazdığım minimal CLI aracını tercih ettim.

Bunu seçmemin temel sebebi, Unix felsefesine uygun olarak her aracın tek bir işi en iyi şekilde yapmasıydı. Benim aracım sadece veriyi temizliyor ve bir sonraki sürece iletiyordu. Bu sayede agent'ın kendi mantığına dokunmadan, dışarıdan gelen veriyi sterilize etmiş oldum. Diğer yöntemler sistemin genel karmaşıklığını artırırken, bu yöntem sistemin modülerliğini korudu. Ayrıca, bu yaklaşım sayesinde herhangi bir veritabanı bağımlılığım kalmadı; tüm süreç RAM üzerinde, yani bellek üzerinde gerçekleştiği için okuma yazma gecikmeleri sıfıra indi.

Sen de dene

Sen de benzer bir sorun yaşıyorsan, büyük kütüphanelere sarılmadan önce kendi temizleme aracını yazmayı dene. İlk adım olarak, basit bir Python betiği ile stdin üzerinden veri okumayı ve bunu belirli kurallara göre filtreleyip stdout'a basmayı dene.

  1. Veri kaynağını bir pipe ile Python betiğine bağla.
  2. Basit bir if bloğu ile verinin doğruluğunu kontrol et.
  3. Hatalı verileri stderr kanalına yönlendirerek logla.
  4. Temiz veriyi stdout üzerinden agent yazılımına gönder.

Bu yaklaşım, karmaşık finansal problemler için her zaman devasa kütüphanelere ihtiyaç olmadığını gösteriyor. Basit bir temizleme algoritması, agent performansını en az karmaşık bir model kadar artırabiliyor.

Ozet

  • Karmaşık kütüphaneler yerine standart araçları kullanarak sistemdeki gürültüyü temizledim.
  • Hatalı verileri ayrıştırmak için stdin ve stdout kanallarını Linux pipe yapısıyla yönettim.
  • Hatalı veri durumunda sistemi durdurmak yerine bir önceki geçerli değeri kullanarak akışı korudum.
  • Bu minimal yaklaşım sayesinde trading agent sistemim artık çok daha kararlı ve kesintisiz çalışıyor.
  • Her finansal veri sorunu için ağır çözümlere gerek yok, bazen basit bir filtreleme yeterlidir.

Bundan sonra ne yapmalı? İlk olarak, yazdığım bu temizleme aracını bir servis dosyası haline getirerek sistem açılışında otomatik başlamasını sağlayacağım. İkinci olarak, temizlenen hatalı veri oranını anlık olarak izleyebileceğim küçük bir metrik sayacı ekleyerek, veri sağlayıcısının ne sıklıkla hatalı veri gönderdiğini raporlayacağım. Bu sayede hangi saatlerde veri kalitesinin düştüğünü analiz edip, işlem stratejilerimi o saatlerde daha temkinli olacak şekilde güncelleyebilirim. Ayrıca, gelen verinin zaman damgasını kontrol eden ek bir doğrulama katmanı ekleyerek, verinin güncelliğini de garanti altına almayı hedefliyorum.

Top comments (0)