DEV Community

Cover image for Gemini 4 Neon Benchmark Sonuçları: Kodlama, Ajanlar ve Görev Başına Maliyet
Tobias Hoffmann
Tobias Hoffmann

Posted on Originally published at apidog.com

Gemini 4 Neon Benchmark Sonuçları: Kodlama, Ajanlar ve Görev Başına Maliyet

Gemini 4 Neon Benchmark Sonuçları: Hangi Skor Kimin Ölçümü?

Gemini 4 Neon benchmark sonuçları, onu Artificial Analysis Coding Agent Index'te (58.6) 1. sıraya, Terminal-Bench 4.1'de %65.2'ye ve Vals Index'te (70.9%) 2. sıraya yerleştiriyor. Google ayrıca varsayılan high düşünme seviyesinde görev başına maliyetinin Gemini 4 Carbon'a kıyasla %32 daha düşük olduğunu söylüyor. Ancak satırların çoğu xhigh seviyesinde, bazılarıysa Google'ın kendi test ortamında çalıştırıldı.

Apidog'u bugün deneyin

İşte bu son ayrıntı, bu yazının asıl konusu. Gemini 4 Neon genel bakışımız teknik özellikleri ve fiyatlandırmayı ele alıyor. Burada ise yayınlanan her skoru, bunu kimin ölçtüğünü, hangi düşünme seviyesinde ölçüldüğünü ve "görev başına maliyet"i kendi faturanızla karşılaştırabileceğiniz bir sayıya nasıl dönüştüreceğinizi bulacaksınız.

Gemini 4 Neon benchmark sonuçlarına genel bakış

Gemini 4 Neon, Google'ın orta segment Gemini 4 modeli; 18 Kasım 2026'da yayınlandı ve milyon giriş token'ı için 3 $, milyon çıkış token'ı için 15 $ olarak fiyatlandırıldı. Yayınlanan en güçlü sonuçları ajan tabanlı kodlama ve bilgi işi alanlarında; dört bağımsız liderlik tablosunda 1. ya da 2. sırada yer alıyor.

Bunlar Google'ın lansman yazısındaki öne çıkan satırlar:

image

Google ayrıca Vals AI'nın Legal Research Bench ve Tax Agent Bench tablolarında da 1. sırada olduğunu bildiriyor.

Gemini 4 Neon benchmark scores grouped by who measured them: third-party leaderboards (AA Coding Agent Index 58.6, Vals Index 70.9%, Agent Arena 1,336, Terminal-Bench 4.1 65.2%, AutomationBench 56.3%) and Google self-computed rows (SWE-sweep 39.0%, Agents' Last Exam 75.8%, Terminal-Bench Science 70.5%)

Gemini 4 Neon kodlama benchmark'ları

Kodlama, Neon'un en güçlü olduğu alan ve aynı zamanda test ortamının en çok fark yarattığı yer. Google'ın değerlendirme metodolojisi PDF'i, her kodlama satırının nasıl üretildiğini açıklıyor.

Artificial Analysis Coding Agent Index: 58.6, 1. sıra. Bu bağımsız bir bileşik skor, dolayısıyla Google'ın kurulumundan en az etkilenen satır. Güncel sıralamayı Artificial Analysis üzerinden kontrol edebilirsiniz.

Terminal-Bench 4.1: %65.2. Artificial Analysis, Neon'u herkese açık Antigravity-CLI test ortamının 1.5.9 sürümüyle çalıştırdı. Diğer modellerin skorları resmi liderlik tablosundan geliyor ve her sonuç hile düzeltmeli doğruluk kullanıyor. Adil, ama Neon Google'ın kendi ajan araçları içinde çalıştı.

FrontierCode 2.0: %46.2. Bu, herkese açık liderlik tablosundan ve üretimde karşınıza çıkan varsayılan high seviyesinde çalıştırıldı. Günlük trafik için yalnızca tek bir kodlama sonucuna güvenecekseniz, buna güvenin.

SWE-sweep: Antigravity'de %39.0, mini-SWE'de %12.8. Her ikisi de Google tarafından hesaplandı. 3 katlık sıçrama test ortamından kaynaklanıyor: Google, Antigravity-CLI'nin alt ajanları kod tabanına dağıtan varsayılan bir araç içerdiğini, bunun da hata bulma görevlerine uygun olduğunu belirtiyor. Aynı karşılaştırmada Opus 5.5 Claude Code'da, GPT-6.2 Sol ise Codex'te çalıştırıldı. %12.8'i model, %39.0'ı ise model artı en iyi araç takımı olarak okuyun.

Same model, two harnesses: Gemini 4 Neon scores 12.8% on SWE-sweep with the mini-SWE agent and 39.0% in Google Antigravity, where sub-agents fan out across the codebase

Ajan ve bilgi işi benchmark'ları

Neon'u çok sayıda adım boyunca denetimsiz çalıştırmayı planlıyorsanız bu satırlar sizin için önemli.

  • Agent Arena Index: 1.336, 2. sıra. 4.200'den fazla gerçek dünya ajan oturumundan oluşturuldu. Google ayrıca Neon'un burada yönlendirilebilirlik konusunda 2. sırada olduğunu, yani kullanıcı görev sırasında düzeltme yaptığında sorunsuz uyum sağladığını söylüyor.
  • AutomationBench: %56.3, 1. sıra. Zapier'in iş otomasyonu benchmark'ı, herkese açık liderlik tablosundan.
  • Vending-Bench 2: 16.843 $, 1. sıra. Andon Labs'ın uzun ufuklu iş yönetimi simülasyonu. Skor, yüzde değil kazanılan para.
  • Agents' Last Exam v1.1: %75.8. Antigravity-CLI 1.4.8 içinde 122 görevlik set üzerinde, her çalıştırma için 5 saatlik bir zaman penceresiyle Google tarafından hesaplandı. Opus 5.5'in skoru herkese açık liderlik tablosundan, GPT-6.2 Sol'unki ise kendi sistem kartından geliyor, dolayısıyla kurulumlar farklı.
  • Chartography: %73.5. Yoğun profesyonel grafikleri okuma, araç kullanılmadan Google tarafından hesaplandı.

Bilim ve matematik alanında Neon, Terminal-Bench Science'ta %70.5 (Google tarafından hesaplandı, 5 denemenin ortalaması), RiemannBench'te %84.0 ve HLE-Diamond'da %71.3 (Artificial Analysis liderlik tablosundan) skorları elde ediyor.

Google bu sayıları nasıl elde etti

Metodolojideki dört kural, tabloyu nasıl okumanız gerektiğini değiştiriyor:

  1. Varsayılan olarak en yüksek düşünme seviyesi. "Aksi belirtilmedikçe tüm sonuçlar en yüksek düşünme ayarlarıyla Gemini API üzerinde çalıştırıldı." Yani xhigh. Yalnızca FrontierCode 2.0 açıkça high olarak işaretlenmiş. Üretim çağrıları varsayılan olarak high kullanıyor, dolayısıyla daha az düşünme token'ı ve tablodakinden muhtemelen daha düşük skorlar bekleyin.
  2. Pass@1, tek deneme. Belirtilenler dışında (Terminal-Bench Science 5 denemenin ortalamasını alıyor) çoğunluk oylaması ya da paralel test zamanı hesaplaması yok.
  3. Rakip sayıları kendi beyanları. Gemini dışı skorlar, aksi belirtilmedikçe her sağlayıcıdan geliyor. Opus 5.5 ve GPT-6.2 Sol, mevcut olduğunda maksimum akıl yürütme ayarlarını kullanıyor.
  4. Güvenlik filtreleri açık, siber hariç. Siber güvenlik satırları filtreler kapalıyken çalıştırıldı.

Düşünme seviyeleri rehberimiz, xhigh'ın ekstra token'larına ne zaman değdiğini ele alıyor.

Görev başına maliyet: %32 iddiası ne anlama geliyor

Görev başına maliyet, bir benchmark görevini tamamlamak için yapılan toplam harcamadır; token başına fiyat değil. Daha yüksek token fiyatına sahip bir model, cevaba daha az adımda ve daha az düşünme token'ıyla ulaşıyorsa yine de görev başına daha az maliyetli olabilir.

Google üç maliyet iddiasında bulunuyor:

İddia Düşünme seviyesi Karşılaştırıldığı model
Görev başına %32 daha düşük maliyet, yüksek bir AA Intelligence Index skoruyla high Gemini 4 Carbon
Vals Index ve Agent Arena'da görev başına yaklaşık %50 ila %80 daha düşük maliyet high En iyi rakip öncü modeller
Görev başına %36+ daha düşük maliyet xhigh En yüksek ayarlarındaki rakip modeller

Uyumsuzluğa dikkat edin: doğruluk satırları çoğunlukla xhigh kullanıyor, oysa öne çıkarılan %32'lik tasarruf high seviyesinde. Her ikisi de doğru, ama aynı anda değil. Ya maliyet tasarrufunu ya da en yüksek skoru elde edersiniz; aradaki farkı ölçmek size kalıyor.

Kendi görev başına maliyetinizi şöyle tahmin edebilirsiniz. Düşünme token'ları çıkış olarak faturalandırılır.

$$\text{maliyet} = \frac{\text{giriş} \times 3 + \text{önbelleğe alınmış giriş} \times 0.15 + \text{çıkış} \times 15}{1{,}000{,}000}$$

20.000 giriş token'ı ve 4.000 çıkış token'ı içeren bir kodlama görevi 0,06 $ + 0,06 $ = 0,12 $ tutar. Bu giriş token'larının 15.000'i önbelleğe denk gelirse maliyet 0,015 $ + 0,00225 $ + 0,06 $ = yaklaşık 0,077 $'a düşer. Aynı görevi xhigh seviyesinde çalıştırırsanız değişen şey çıkış sayısıdır, dolayısıyla yalnızca geçti/kaldı değil, seviye başına token'ları da kaydedin. Gemini 4 Neon fiyatlandırma dökümümüz Batch, Flex ve Priority ücretlerini ele alıyor.

Siber güvenlik ve güvenlik satırları

Siber güvenlik skorları, herkese açık API yerine Fairwind Programı aracılığıyla güvenilir savunuculara sunulan "siber güvenlik için Gemini 4 Neon"dан geliyor.

Benchmark Skor Not
SEC-bench Pro %90.5 En son teknoloji, meydan okuma başına yaklaşık yarı maliyet
WebExploitBench v1.2 %51.26 En son teknoloji, büyük modellerin yarı maliyetiyle
AutoBaxBench (zor seviye) %76 En son teknoloji, her seviyede Carbon'dan daha güvenli kod
CWE-bench v2 %70.7 Carbon'a kıyasla %3.4 iyileşme
ExploitGym Belirtilmemiş Carbon'ın yarısı kadar token'la öncü seviyesinde

Aynı yazıdan güvenlik sayıları: Neon, Terminal-Bench 4.0 görevlerinin %1.98'ini reddetti, Terminal-Bench 4.0'da %0.0 hile skoru aldı, Google'ın kodlama hile değerlendirmesinde görevlerin %2.45'inde kestirme yollara başvurdu ve ajan dürüstlüğü değerlendirmesinin %99.2'sini geçti. En yüksek düşünme seviyesinde gerçek zamanlı koruma önlemleriyle, Gray Swan'ın dolaylı komut enjeksiyonu benchmark'ındaki her saldırıya direndi.

Neon'un önde olmadığı alanlar

Neon her yerde birinci değil ve Google da bunu kabul ediyor:

  • Artificial Analysis Intelligence Index: Genel olarak 3. sıra, "daha büyük, daha yavaş modellerin hemen gerisinde."
  • Vals Index: 1. değil, 2. sıra.
  • Agent Arena Index: 2. sıra.

Google ayrıca en zorlu uzun ufuklu projeleriniz için hâlâ Carbon'a yönlendiriyor. Üç Gemini 4 modeli arasında seçim yapıyorsanız, Neon vs Carbon vs Hydrogen karşılaştırmamız ödünleşimleri haritalıyor ve Gemini 4 Argon benchmarks yazımız da önceki modelin tablosunun nasıl okunduğunu gösteriyor.

Gemini 4 Neon'u Apidog CLI ile kendiniz benchmark'layın

Liderlik tabloları Google'ın test ortamını tanımlar, ürününüzü değil. Neon'un fiyatını hak edip etmediğini anlamanın en hızlı yolu, kodlama ajanınızın aynı komutları high ve xhigh seviyelerinde çalıştırmasına ve her biri için token'ları ve gecikmeyi kaydetmesine izin vermektir.

Neon için ücretsiz API katmanı yok, dolayısıyla ücretli bir Gemini API anahtarına ihtiyacınız var. Bu istek, Google'ın belgelenmiş Interactions API formatını izliyor; bu yazı için canlı çalıştırmadık:

curl -s "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "gemini-4-neon", "input": "Find the race condition in this retry queue.", "generation_config": {"thinking_level": "high"}}'
Enter fullscreen mode Exit fullscreen mode

Apidog CLI, Claude Code, Codex, Cursor veya OpenCode'un terminalden API testleri oluşturmasına ve çalıştırmasına olanak tanır. Bir kez kurun:

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick your agent when prompted
Enter fullscreen mode Exit fullscreen mode

Ardından ajanınıza tek bir komut verin:

In Apidog project <id>, create a Gemini API environment with GEMINI_API_KEY
and THINKING variables. Add a test case for POST /v1beta/interactions on
gemini-4-neon that sends my 10 eval prompts from prompts.csv, asserts HTTP 200
and a non-empty output, and records token usage and response time. Run it at
THINKING=high and THINKING=xhigh and compare cost per task at $3/$15 per 1M.
Enter fullscreen mode Exit fullscreen mode

Ajan ortamı oluşturur, test senaryosunun yükünü şemasına göre kontrol eder ve ardından her düşünme seviyesi için bir kez çalıştırır:

apidog environment create gemini-api --project <id> --base-url https://generativelanguage.googleapis.com
apidog cli-schema get test-case-create
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <id> --file case.json
apidog run --test-case <caseId> --project <id> -e <envId> -d prompts.csv --env-var "THINKING=high" -r cli,json
apidog run --test-case <caseId> --project <id> -e <envId> -d prompts.csv --env-var "THINKING=xhigh" -r cli,json
Enter fullscreen mode Exit fullscreen mode

Komutlarınız uzunsa --timeout-request 900000 ekleyin; çünkü zorlu xhigh çalıştırmaları dakikalar sürebilir. Karşılaştırmayı her komut değişikliğinde yeniden çalıştırmak için aynı apidog run ... -r junit komutunu Apidog CLI CI/CD rehberiyle CI'a ekleyin ya da Claude Code'da Apidog CLI ile başlayın. Apidog'un Ücretsiz planı 4 kullanıcıya kadar kapsama sağlıyor.

SSS

Gemini 4 Neon'un en iyi benchmark sonucu nedir? Artificial Analysis Coding Agent Index'te 58.6 ile 1. sıra, ayrıca AutomationBench'te (%56.3) ve Vending-Bench 2'de (16.843 $) 1. sıra.

Benchmark'lar hangi düşünme seviyesinde çalıştırıldı? Çoğunlukla en yüksek ayar olan xhigh. Google'ın metodolojisi, aksi belirtilmedikçe sonuçların en yüksek düşünme ayarlarını kullandığını söylüyor; FrontierCode 2.0 (%46.2) varsayılan high olarak işaretlenmiş.

Gemini 4 Neon görev başına Carbon'dan daha mı ucuz? Google, high seviyesinde görev başına %32 daha düşük maliyet olduğunu söylüyor. Bu, benchmark çalıştırmalarından elde edilen görev başına bir rakam, dolayısıyla trafiği taşımadan önce kendi komutlarınızla doğrulayın.

Neon neden SWE-sweep'te %39.0 ve %12.8 alıyor? Farklı test ortamları nedeniyle. %39.0, alt ajanları kod tabanına dağıtan Google Antigravity içinde; %12.8 ise daha basit mini-SWE ajanı.

Gemini 4 Neon'un benchmark'ları bağımsız mı? Kısmen. Artificial Analysis, Vals, Arena, AutomationBench ve FrontierCode satırları üçüncü taraflardan geliyor. SWE-sweep, Agents' Last Exam ve Terminal-Bench Science ise Google tarafından hesaplandı.

Top comments (0)