Borsa verileriyle uğraşmaya başladığımda her şeyin çok kolay olacağını sanıyordum. İnternette hazır kütüphaneler var, birkaç satır kodla fiyatları çekip zengin olacağımı hayal ediyordum. Zamanla işin içine girdikçe bu kütüphanelerin aslında kendi içlerinde gizli tehlikeler barındırdığını gördüm. Bir gün sistemim tamamen durduğunda, kullandığım araçların aslında ne kadar hassas dengeler üzerinde çalıştığını anladım. Bu yazıda, BIST verilerini işlerken kullandığım dokuz farklı paketi, neden seçtiğimi ve en önemlisi beni hangi noktalarda yarı yolda bıraktıklarını açık açık anlatıyorum.
1. pandas
Pandas, veri analizi dünyasının temel taşıdır. Zaman serisi verilerini manipüle etmek, hisse fiyatlarını satırlara ve sütunlara dizmek için kullandığım ilk araçtır. 3.1.1 sürümünü kullanıyorum. BIST hisse fiyat serilerini bir araya getirip hızlıca analiz etmek için başka bir alternatif düşünmüyorum.
Ancak bu aracın en büyük tuzağı bellek yönetimidir. Büyük veri setleriyle çalışırken yanlış bir döngü kurduğum an RAM kullanımı tavan yapıyor. Bir keresinde tüm geçmiş fiyat verisini tek bir yapı içine yüklemeye çalışırken sistemim kilitlendi. Pandas veriyi bellekte tuttuğu için, eğer veriniz RAM kapasitenizi aşarsa bilgisayarınızın yanıt vermeyi kestiğini görürsünüz. Bu yüzden büyük dosyalarda parça parça işleme yapmak zorundayım. Örneğin, 10 yıllık BIST 100 verisini tek seferde okutmak yerine, her yıl için ayrı bir dosya oluşturup döngü içinde sadece ilgili yılı belleğe alarak sistemin çökmesini engelledim. Bu yöntemle bellek kullanımını yüzde 40 oranında düşürdüm.
2. yfinance
Yahoo Finance API üzerinden veri çekmek için yfinance 1.8.0 sürümünü kullanıyorum. BIST hisselerinin gün sonu kapanış verilerini hızlıca çekip analiz etmemi sağladığı için oldukça pratik.
Beni en çok zorlayan kısmı ise veri kalitesi oldu. Yahoo Finance API bazen BIST verisinde gecikmeli veya hatalı kapanış bilgisi dönebiliyor. Bir gün stratejimi test ederken fiyatların gerçekle uyuşmadığını fark ettim. Meğer sistem hatalı veri çekmiş. Bu yüzden gelen veriyi mutlaka başka bir kaynakla teyit etmem gerekiyor. Asla tek bir kaynağa güvenerek işlem yapmıyorum.
3. requests
Requests kütüphanesi, Python ile HTTP istekleri atmak için kullandığım en basit araç. 2.34.2 sürümünü kullanıyorum. Borsa aracı kurumlarının sunduğu REST API'lere bağlanmak için bu paketi tercih ediyorum.
Buradaki büyük sorun senkron çalışma yapısıdır. Aynı anda çok sayıda veri isteği attığımda işlem hattı bloke oluyor. Örneğin, yüzlerce hissenin anlık verisini çekmeye çalıştığımda kodum tek tek bekliyor. Bu da süreci inanılmaz yavaşlatıyor. Aşağıda basit bir istek örneği görebilirsiniz:
import requests
response = requests.get(url_adresi)
data = response.json()
Bu kod parçası, belirtilen adresten veriyi çekip JSON formatına dönüştürüyor. Ancak kodun altındaki satırlarda göreceğiniz üzere, eğer sunucudan yanıt gelmezse veya sunucu yoğunsa kod burada takılıp kalıyor. Asenkron bir yapı kurmadığınız sürece, tek bir gecikme tüm otomasyonunuzu saatlerce durdurabilir. İstek atarken mutlaka zaman aşımı süresi ekleyerek kodun sonsuz döngüde kalmasını engelliyorum.
4. beautifulsoup4
API desteği olmayan finansal platformlardan veri çekmek zorunda kaldığımda beautifulsoup4 4.15.0 sürümü imdadıma yetişiyor. BIST haberlerini veya takas verilerini HTML içinden ayıklamak için harika bir araç.
Bunun en büyük tuzağı ise web sitelerinin sürekli değişen yapısıdır. Bir gün sabah kalktığımda tüm veri çekme otomasyonumun çöktüğünü gördüm. Site sahipleri HTML etiketlerini değiştirmişti. Tüm kodumu baştan yazmak zorunda kaldım. Bu kütüphaneyi kullandığınız her gün, sitenin yapısının değişme riskiyle baş başasınız.
5. SQLAlchemy
Verileri PostgreSQL veritabanına kaydetmek için SQLAlchemy 2.1.9 sürümünü tercih ediyorum. Karmaşık SQL sorgularını Python içinde yazmamı kolaylaştırıyor.
Ancak karmaşık sorgularda ORM katmanı saf SQL'e göre ciddi performans kaybına yol açabiliyor. Bir keresinde milyonlarca satırlık veriyi çekmeye çalışırken ORM'in oluşturduğu sorgunun ne kadar hantal olduğunu gördüm. Basit işlerde harika ama iş veritabanı optimizasyonuna geldiğinde saf SQL yazmak daha güvenli.
6. scikit-learn
Yapay zeka modelleri eğitirken scikit-learn 1.9.1 sürümünü kullanıyorum. Hisse senedi fiyat hareketlerinde basit trend tahminleri yapmak için kullanıyorum.
Buradaki en büyük tehlike ise teknik bir hata olan look-ahead bias yani geleceği görme hatasıdır. Eğer eğitim verisine gelecekteki fiyat bilgisini yanlışlıkla dahil ederseniz modeliniz muazzam sonuçlar veriyor gibi görünür ama gerçek hayatta tamamen başarısız olur. Finansal veride bu hatayı yapmak çok kolaydır ve sizi yanıltır.
7. ta
Teknik analiz göstergelerini hesaplamak için ta 0.11.0 sürümünü kullanıyorum. RSI veya MACD gibi değerleri ham veriden otomatik hesaplatmak büyük zaman kazandırıyor.
Ancak dikkatli olmalısınız. Farklı borsa platformlarının hesaplama yöntemleri ile bu kütüphanedeki yöntemler bazen uyuşmuyor. Örneğin hareketli ortalama hesaplamasında kullanılan başlangıç noktası farklı olursa sonuçlar değişiyor. Kendi hesapladığım değer ile aracı kurumun gösterdiği değer arasındaki farkı gördüğümde kütüphaneye körü körüne güvenmemem gerektiğini anladım.
8. schedule
Verileri her gün belirli saatlerde otomatik çekmek için schedule 1.2.2 sürümünü kullanıyorum. Çok hafif ve basit bir görev zamanlayıcı.
En büyük eksikliği ise hata toleransının olmamasıdır. Program çalışırken bir anlığına internet kopsa veya sunucu hata verip kapansa, kaçırılan işleri tekrar tetikleme yeteneği yok. İşlem zamanı geldiğinde sistem kapalıysa o iş sonsuza kadar kayboluyor. Bu yüzden yanına mutlaka bir loglama sistemi eklemek zorundayım.
9. matplotlib
Görselleştirme için matplotlib 3.11.2 sürümünü kullanıyorum. Stratejilerimin performansını görmek için grafikler kullanıyorum.
Fakat çok fazla veri noktasını aynı anda çizdirmeye kalktığınızda grafikler donuyor. Bazen uygulama yanıt vermez hale geliyor. Özellikle binlerce dakikalık veriyi tek bir grafikte göstermeye çalışmak yerine veriyi seyrelterek çizdirmek zorunda kalıyorum. Örneğin, 5 dakikalık periyotlarla gelen 5000 veriyi çizdirirken her 10. veriyi alarak grafik oluşturduğumda donma sorunu ortadan kalktı ve görselleştirme sürem 12 saniyeden 2 saniyeye indi.
Toparlarsak
Bu araçları kullanırken öğrendiğim en önemli şey, hiçbirinin kusursuz olmadığıdır. Her kütüphane bir noktada sizi yarı yolda bırakacak şekilde tasarlanmış gibi hissettiriyor. Araç seçimi bir zeka göstergesi değil, tamamen tekrar meselesidir. Aynı işi defalarca yaptıkça hangi aracın nerede hata vereceğini öğreniyorsunuz.
Bundan sonra yapmanız gereken ilk şey, kullandığınız kütüphanelerin dokümantasyonunu sadece özelliklerine bakmak için değil, kısıtlamalarını anlamak için okumaktır. Basit bir hata yakalama mekanizması kurun ve veri çekme işlemlerinizi mutlaka loglayın. Hatalı veriyle model eğitmektense hiç veri almamak daha iyidir. Kendi küçük test ortamınızı kurun ve bu araçları zorlayın, bakalım nerede patlıyorlar. Kendi sisteminizi güvenli hale getirmek için bu hataları bizzat görmeniz şart. Uygulama loglarını günlük kontrol ederek hangi paketin hangi saatte hata verdiğini not edin ve bir sonraki seferde aynı hatayı almamak için kodunuzu güncelleyin.


Top comments (0)