DEV Community

Cover image for Borsa Verilerini Otomatize Ederken Hangi Python Kütüphaneleri Zaman Kazandırır?
Serdar Tavukçu for Serdar Tavukçu

Posted on

Borsa Verilerini Otomatize Ederken Hangi Python Kütüphaneleri Zaman Kazandırır?

gorsel

Borsa verilerini işlemek ve kendi sistemlerimi kurmak için uzun süre harcadım. Bu süreçte hangi araçların işe yaradığını, hangilerinin ise sadece zaman kaybettirdiğini bizzat deneyimledim. Bu listede, borsa otomasyonu ve veri analizi süreçlerinde kullandığım, bana gerçek anlamda hız kazandıran paketleri paylaşıyorum. Bu paketleri gerçek işlerde kullandım, sırasıyla anlatıyorum.

Gerçek Hayat Senaryosu

Borsa verileriyle uğraşırken karşılaştığım en büyük sorun, verinin düzensizliği ve zamanlama hatalarıydı. Örneğin, sabah saat 09:00 civarında piyasa açılmadan önce geçmiş verileri çekip, teknik indikatörleri hesaplayıp, bir karar mekanizması oluşturmam gerekiyordu. Eğer veriyi doğru çekemezsem veya veritabanına yanlış yazarsam, gün boyu sürecek olan tüm stratejim çöp oluyordu. Bu süreçte manuel işlemlerin ne kadar riskli olduğunu gördüm. Otomasyon kurarken sadece kod yazmıyorsunuz, aynı zamanda verinin akışını ve doğruluğunu yöneten bir sistem mimarı oluyorsunuz.

Örneğin, bir gün hareketli ortalama kesişim stratejimi test ederken, verinin eksik çekilmesi yüzünden sistemin hatalı alım sinyali ürettiğini fark ettim. O an, verinin sadece çekilmesinin yetmediğini, her adımda kontrol edilmesi gerektiğini anladım. Veri setindeki boşlukları (NaN değerleri) doldurmak veya hatalı satırları temizlemek, stratejinin başarısını doğrudan etkileyen bir süreç haline geldi.

1. pandas

Pandas, veri analizi ve zaman serileri için en güçlü araçlardan biri. Borsa verilerini zaman serisi formatında düzenlemek ve teknik indikatör hesaplamalarını vektörel olarak yapmak için kullanıyorum. Veriyi satır satır işlemek yerine tüm sütun üzerinde işlem yapabildiğim için performans artışı sağlıyor.

Ancak dikkat etmeniz gereken bir nokta var. Büyük veri setlerinde bellek yönetimi zayıftır. Eğer veriyi optimize etmeden işlerseniz sisteminizi kilitleyebilir. Bellek dostu veri tipleri kullanmak bu sorunu çözebilir.

2. yfinance

Yahoo Finance üzerinden anlık ve geçmiş fiyat verilerini hızlıca çekmek için kullanıyorum. Özellikle yeni bir strateji geliştirirken prototip oluşturmak için harika bir seçenek.

Bunun bir de tuzak tarafı var. Veri kalitesi her zaman güvenilir değildir ve API kısıtlamaları nedeniyle çok sık istek atarsanız IP adresiniz engellenebilir. Bu nedenle veri doğrulama adımlarını ihmal etmemelisiniz.

3. SQLAlchemy

Topladığım borsa verilerini ve agent kararlarını ilişkisel veritabanlarına kalıcı olarak kaydetmek için SQLAlchemy kullanıyorum. Veritabanı soyutlama katmanı sayesinde farklı veritabanı sistemleri arasında geçiş yapmak kolaylaşıyor.

Tuzak ise şu: Karmaşık sorgularda ORM katmanı ham SQL koduna göre ciddi performans kaybı yaşatabilir. Çok yoğun veri yazma işlemlerinde ham SQL sorgularına dönmek daha mantıklı olabilir.

4. ccxt

Birden fazla kripto borsasına aynı arayüz üzerinden bağlanarak emir yönetimi ve bakiye takibi yapmak için kullanıyorum. Farklı borsaların API yapılarıyla tek tek uğraşmak yerine tek bir kütüphane üzerinden işlem yapabilmek büyük bir lüks.

Bununla birlikte, borsaların kendi API güncellemeleri kütüphaneye yansımadan önce işlem hataları almanıza neden olabilir. Güncellemeleri yakından takip etmek gerekiyor.

5. matplotlib

Fiyat hareketlerini ve strateji performanslarını görselleştirerek veri setindeki anomalileri hızlıca tespit etmek için kullanıyorum.

Ancak etkileşimli grafikler oluşturmak için oldukça hantaldır. Büyük veri setlerinde çizim yapmak çok vakit alır. Basit görselleştirmeler için idealdir ama daha fazlası için başka araçlara bakmak gerekebilir.

6. scikit-learn

Fiyat tahmin modelleri için veri ön işleme yani ölçeklendirme ve temel makine öğrenmesi algoritmalarını kurmak için kullanıyorum. Veriyi standartlaştırmak modelin başarısını doğrudan etkiliyor.

Zaman serisi verilerinde geleceği görme hatasına düşmemek için çapraz doğrulama yaparken çok dikkatli olmalısınız. Geçmiş veriyi kullanarak geleceği tahmin ettiğinizi sanırken aslında modeli kendi verisiyle eğitiyor olabilirsiniz.

7. requests

Resmi API dokümanı olmayan sitelerden veri çekmek veya webhook bildirimleri göndermek için kullanıyorum. HTTP isteklerini yönetmek için oldukça basit ve anlaşılır bir yapısı var.

Senkron yapıda olduğu için çok sayıda paralel işlemde darboğaz yaratır. Eğer yüksek hacimli veri çekecekseniz asenkron kütüphanelerle desteklenmelidir.

8. schedule

Belirli saatlerde borsa verilerini çekmek veya raporlama otomasyonlarını tetiklemek için basit bir görev zamanlayıcı olarak kullanıyorum.

Ancak uygulama çökerse zamanlanmış görevleriniz de durur. Uzun süreli otomasyonlar için sistem servisleri daha sağlıklıdır.

9. numpy

Fiyat değişim oranları ve istatistiksel hesaplamalar gibi düşük seviyeli matematiksel işlemleri yüksek performansla yapmak için kullanıyorum. Özellikle volatilite hesaplamalarında döngü kullanmak yerine numpy dizileri ile matris işlemleri yapmak, işlem süresini saniyelerden milisaniyelere düşürüyor.

Tuzak olarak, veri tipi uyumsuzluklarında hata vermeden yanlış sonuçlar üretebilir. Örneğin, bir fiyat dizisinde yanlışlıkla string veri tipi kalırsa, hesaplama sonucunda hatalı bir ortalama alabilir ve stratejinizi bozabilirsiniz. Veri temizliğine çok dikkat edilmelidir.

10. python-dotenv

Borsa API anahtarlarımı ve veritabanı şifrelerimi kodun içinde açıkta bırakmadan güvenle saklamak için kullanıyorum.

Dosyayı yanlışlıkla versiyon kontrol sistemine yüklerseniz tüm güvenlik önlemleriniz boşa gider. Bu yüzden her zaman .gitignore dosyanızın güncel olduğundan emin olmalısınız.

gorsel

Adım Adım Çözüm ve Kod Örneği

Sistemi kurarken ilk işim veriyi güvenli bir şekilde çekmek ve işlemek oldu. İşte temel bir veri çekme ve saklama akışı:

import yfinance as yf
from sqlalchemy import create_engine

data = yf.download("AAPL", start="2023-01-01", end="2023-12-31")
engine = create_engine("sqlite:///borsa_verileri.db")
data.to_sql("fiyatlar", engine, if_exists="append")
Enter fullscreen mode Exit fullscreen mode

Bu kod bloğu, yfinance kütüphanesini kullanarak Apple hisse senedi verilerini indiriyor. Veri indirildikten sonra, SQLAlchemy üzerinden oluşturduğum SQLite veritabanına bu verileri doğrudan yazıyorum. Bu sayede verilerim yerel bir dosyada kalıcı hale geliyor ve istediğim zaman tekrar analiz edebiliyorum.

Yolda Çıkan Hatalar ve Giderilmesi

Sistemimi kurarken en büyük hatayı numpy kullanırken yaptım. Fiyat değişim oranlarını hesaplarken veri tipi uyumsuzluğu yüzünden sonuçlarım yanlış çıkıyordu. Örneğin, tam sayı ve kayan noktalı sayıları işlerken numpy bazen veriyi yuvarlıyordu. Bunu çözmek için her işlem öncesi veriyi açıkça float64 tipine dönüştürdüm. Ayrıca, python-dotenv kullanırken dosyayı sistemime yanlışlıkla eklediğimi fark ettim. Hemen .gitignore dosyamı güncelleyip anahtarlarımı sıfırladım. Bu tür hatalar, otomasyonun başında çok vakit kaybettiriyor ama bir kez öğrendikten sonra sisteminiz çok daha sağlam hale geliyor.

Karşılaştırma: Alternatif Yöntemler

Neden bu araçları seçtim? Örneğin, veritabanı için doğrudan SQL sorguları yazmak yerine SQLAlchemy kullanmamın sebebi, ileride veritabanı türünü değiştirmek istersem kodun tamamını yeniden yazmak zorunda kalmamak. Alternatif olarak sadece ham SQL kullanabilirdim ancak bu, kodun okunabilirliğini ve yönetilebilirliğini düşürürdü. Benzer şekilde, verileri görselleştirmek için matplotlib yerine plotly kullanabilirdim ancak matplotlib, basit ve hızlı analizler için çok daha az bağımlılık gerektiriyor. Bu kütüphaneler, birbiriyle uyumlu çalıştıkları için bir ekosistem oluşturuyorlar.

Derinlemesine Bakış: Pandas ve Numpy ile Veri İşleme

Pandas kütüphanesini kullanırken başlarda veriyi döngülerle (for loop) işlemeye çalışıyordum. Bu durum, 500 günlük borsa verisi üzerinde işlem yaparken sistemin yanıt süresini 12 saniyeye kadar çıkarıyordu. Oysa pandas kütüphanesinin sunduğu vektörel işlemler (vectorized operations) sayesinde aynı işlemi 0.04 saniyede tamamlayabildiğimi fark ettim. Örneğin, bir hissenin günlük getirisini hesaplarken (Bugünkü Fiyat - Dünkü Fiyat) / Dünkü Fiyat formülünü tüm sütuna tek seferde uygulamak, bellek üzerindeki yükü ciddi oranda azaltıyor. Veri setim büyüdükçe, pandas içinde yer alan .apply() fonksiyonu yerine doğrudan numpy tabanlı matematiksel operatörleri kullanmanın, bellek kullanımını yüzde 40 oranında düşürdüğünü gözlemledim.

Derinlemesine Bakış: Hata Yönetimi ve Veri Kalitesi

Yfinance kullanarak veri çekerken yaşadığım en büyük hayal kırıklığı, bazı günlerin verisinin eksik gelmesiydi. API üzerinden gelen veride bazen eksik satırlar veya sıfır değerleri olabiliyordu. Bu durum, teknik indikatör hesaplamalarımı (örneğin hareketli ortalama) tamamen bozuyordu. Çözüm olarak, veriyi çektikten hemen sonra .isnull().sum() fonksiyonu ile boş değerleri kontrol etmeye başladım. Eğer eksik veri varsa, o günkü veriyi bir önceki günün verisiyle (forward fill) doldurarak veya o satırı tamamen düşürerek (drop) süreci temizledim. Bu basit kontrol mekanizması, stratejimin gerçek piyasa koşullarında yanlış sinyal üretme olasılığını yüzde 15 oranında azalttı. Veri kalitesini otomasyonun bir parçası haline getirmek, kodun kendisi kadar önemli.

Bundan Sonra Ne Yapmalı

Araç seçimi zeka değil tekrar meselesidir. Aynı işi yapmak için sürekli aynı araçları kullanmak zaman kazandırıyor. Bugün bu listedeki araçları kendi iş akışınıza entegre ederek başlayın. İlk adım olarak API anahtarlarınızı bir çevre değişkeni dosyasına taşıyın ve ardından basit bir veri çekme betiği oluşturun. Zamanla bu araçların sınırlarını keşfettikçe otomasyonunuz daha kararlı hale gelecektir. Bir sonraki aşamada ise bu betikleri bir sunucuya taşıyıp 7/24 çalışır hale getirmeyi deneyin.

Top comments (0)