Claude Fable 5 olayı bana bir şeyi tekrar hatırlattı: Ciddi bir iş yapıyorsan sadece kapalı modellere, yani kodları gizli olan ve başkasının yönettiği sistemlere güvenip yola çıkamazsın. Bir gün fiyat değişir, bir gün model kalkar; her şeyin ucu başkasının elinde olur. Bu yüzden modelleri lokalde, yani kendi bilgisayarımızda çalıştırma meselesini çözmemiz gerekiyor.
Şu an dürüst olalım, Opus 4.8 performansında olup da herkesin erişimine açık bir model henüz yok. Öyle bir model olsa bile onu kendi bilgisayarında çalıştırmak şu an çok masraflı. Ama aradaki fark hızlı kapanıyor. Tahminimce birkaç ay içinde Opus 4.8 seviyesine yaklaşan modelleri kendi bilgisayarımızda çalıştırabileceğiz.
Donanım tarafında da NVIDIA'nın RTX Spark bilgisayarları sonbaharda çıkıyor. Zamanlama modellerin gelişimiyle tam örtüşüyor. Umarım fiyatları uygun olur ama uygun olmasa bile bu işten para kazananlar için iyi bir yatırım olabilir.
Kendi bilgisayarında model çalıştırmak demek, internete bile gerek duymadan, kimsenin kısıtlamasına veya fiyat artışına takılmadan işini yapabilmek demek. Özellikle müşteri verisiyle uğraşıyorsan veya sisteminin her an çalışır olması gerekiyorsa, dışarıdaki bir API'a bağımlı kalmak büyük risk.
Şu an için yapılabilecek en mantıklı şey, hangi işlerin dışarıdaki modellere göbekten bağlı olduğunu belirlemek. Mevcut açık modelleri ufak tefek işlerde deneyip kapasitelerini görebilirsin. Sonbaharda RTX Spark fiyatları belli olduğunda da maliyet hesabı yaparsın. Şimdilik kritik işleri kapalı modellerle yapmaya devam etsen de, yavaş yavaş kendi sistemine geçiş yollarını araman gerekiyor.
Top comments (0)