Muse Wonder benchmarkları

Muse Wonder Full, Artificial Analysis Intelligence Index'te 56 puan alıyor; Muse Wonder ise 52 puan alıyor. Buna karşılık Claude Opus 5.5 58, Claude Sonnet 5.5 56, GPT-6 Astra, Gemini 4 Argon ve Claude Fable 5.1 ise 53'er puan aldı. Meta'nın kendi model kartı daha güçlü bir hikâye anlatıyor: uzun süreli kodlama, hukuk işi, iş otomasyonu ve bellekte lider. İkisi de doğru, çünkü farklı şeyleri ölçüyorlar; bu fark da yazının en kullanışlı gerçeği.

Bugün Apidog'u deneyin

Burada Meta'dan ve bağımsız kaynaklardan yayınlanmış her sayı, her birinin neyi test ettiği, Wonder'ın nerede önde olduğu, nerede geride kaldığı ve Meta dışındaki kimsenin yeniden üretemediği rakamlarla birlikte yer alıyor. Modelin kendisi için Muse Wonder açıklamasına bakın.

Meta'nın model kartı tablosu

Meta, Muse Wonder Full, Muse Wonder, GPT-6 Astra ve Claude Opus 5.5'i en yüksek akıl yürütme çabasında karşılaştırdı. Kart hakkındaki VentureBeat raporuna göre satırlar şöyle:

Benchmark	Ne ölçtüğü	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5
Artificial Analysis Intelligence Index	On değerlendirmeli bileşik puan	56	52	53	58
Harvey LAB-AA	Hukuk ajanı görevleri	13.1	10.0	8.6	4.2
AutomationBench-AA	İş süreci otomasyonu	45.4	39.1	41.6	41.2
JobBench	Profesyonel iş	75.3	70.5	66.1	75.4
DeepSWE 1.1	Yazılım mühendisliği	79.0	78.8	74.1	74.2
SWE-Marathon	Uzun süreli kodlama çalışmaları	57.5	53.1	42.5	46.3
Terminal-Bench 4.0-AA	Terminal ajan görevleri	57.1	52.0	59.1	59.6
HealthBench Pro	Sağlık soruları	62.3	60.5	65.3	65.6

Yatay okuduğunuzda tablo netleşiyor. Wonder Full, görev uzun ve ajan odaklı olduğunda kazanıyor: SWE-Marathon'ta Opus 5.5'in 11 puan önünde, DeepSWE'de beş puan önünde, hukuk benchmarkında ise üç kat önde. Terminal işi, sağlık ve bileşik endekste geride kalıyor. Meta'nın kendi tablosunda bile Opus 5.5 genel olarak daha zeki model; Wonder Full ise daha sebatkâr olan.

Meta'nın kendi belirttiği iki uyarı var. Rakip çalışmaları en iyi çaba yaklaşımıyla yapıldı ve bu modeller için optimal olmayabilecek ayarlar kullanıldı. Bazı kodlama karşılaştırmalarında ise farklı araçlar kullanıldığından bu satırlar diğerlerinden daha az kontrollü.

Meta'nın iç benchmarkları: bellek ve odak

Meta'nın lansman materyalindeki üç sayı yalnızca Meta'nın çalıştırabildiği testlerden geliyor.

Benchmark	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5	Claude Fable 5.1
MemoryBench	85.5	85.6	81.4	81.5	79.0
FocusBench	54.2	44.9	47.7	45.8	36.6

MemoryBench, bilgileri 64K ile 100K token arası konuşmaların içine gizliyor, dikkat dağıtıcılar ekliyor ve bazı bilgileri yarı yolda değiştiriyor; modelin güncel sürümü hatırlaması gerekiyor. Bu, Active Memory özelliğinin kanıtı olarak sunuluyor. FocusBench ise bir modelin engellere rağmen hedefin peşini bırakıp bırakmadığını ölçüyor; bu da Active Focus özelliğine karşılık geliyor.

Daha küçük Wonder'ın FocusBench'te Astra ve Opus'un altında kaldığına dikkat edin; önde olan yalnızca Wonder Full. Üçüncü iç sayı olan Personal Superintelligence Index için yayınlanmış bir rakip karşılaştırması yok.

Bunlar gerçek davranışlar için makul testler; aynı zamanda Meta'nın tam olarak eğitim verdiği davranışlar. Meta dışındaki biri bunları çalıştırana kadar, bu sonuçları birer eğitim hedefinin tanımı olarak değerlendirin.

Bağımsız puanlar: Artificial Analysis

Artificial Analysis, her iki modeli de en yüksek çabayla Intelligence Index v4.3'ten geçirdi. Bileşik puan ve bileşenler şöyle:

Değerlendirme	Wonder Full	Wonder	Muse Spark 1.3	Öne çıkan karşılaştırma
Intelligence Index	56	52	48	Opus 5.5 58, Sonnet 5.5 56, Astra / Argon / Fable 5.1 53, Grok 4.6 44
Terminal-Bench 4.0	57%	52%	33%	Gemini 4 Argon 57%
GDPval-AA (Elo)	1857, #2	yok	1681	Opus 5.5 1866, Sonnet 5.5 1838
AA-Briefcase (Elo)	1729, #3	yok	1581
CritPt	33%, #1	yok	yok	En yakın rakipler 31 ile 32%
GDP.pdf	33%, #1	yok	yok	En yakın rakipler 31 ile 32%
SciCode	63%, #3	yok	yok
AA-Omniscience (bilgi)	30	25	25	Opus 5.5 46, Astra 43, Argon 42, Sonnet 5.5 32
Halüsinasyon oranı	23%	27%	33%	Gemini 4 Argon 15%
Coding Agents Index	68	63	54	Sonnet 5.5 ile Claude Code 68, Opus 5.5 66

Üç şey öne çıkıyor.

Spark'tan sıçrama gerçek. Altı haftada bileşik puanda sekiz puan artış var ve Terminal-Bench sonucu neredeyse ikiye katlandı. Artificial Analysis bunu, önceki Meta modellerine kıyasla bilgide maddi bir sıçrama olarak niteledi.

Bilgi zayıf nokta. Opus 5.5'in 46'sına karşı Wonder Full'ın 30'luk Omniscience puanı, modelin daha az bilgi bildiğini gösteriyor. Buna karşılık 23% halüsinasyon oranı, bildiklerini uydurma olasılığını azaltıyor. Bilgi alma yoğun ürünlerde bu durum, hatırlamaya güvenmek yerine arama veya kendi belgelerinizle zemileme lehine güçlü bir argüman.

Birkaç liderlik dar. CritPt ve GDP.pdf sonuçlarında alanın yalnızca bir ila iki puan önünde; GDPval'deki Sonnet 5.5 farkı güven aralıklarının içinde. Coding Agents Index'te Sonnet 5.5 kullanan Claude Code ile eşitlik, ajan çalışma zamanı seçen herkes için en ilgili sayı. Üstelik bu sayı Wonder Full'a ait, API üzerinden sunulan Wonder modeline değil.

Meta ile Artificial Analysis'ın ayrıştığı satır

Meta'nın model kartı, Artificial Analysis Intelligence Index satırında Wonder Full için 59.0 listeliyor. Artificial Analysis ise 56 yayınlıyor. Fark muhtemelen endeks sürümlerinden, çalışma tarihlerinden veya Meta'nın kendi değerlendirme düzeninden geliyor; taraflar bunu kamuya açık olarak açıklamadı.

Pratik kural şu: 59 alıntılandığında bu Meta'nın sayısıdır; 56 görüldüğünde bağımsız olandır. Aynı fark AutomationBench'te de var. Meta'nın tablosunda Wonder Full 45.4 ve Wonder 39.1; Artificial Analysis'te ise testin farklı görünen bir sürümünde sırasıyla 71% ve 68% yer alıyor. Sayıyla birlikte kaynağı da belirtin.

Puanların ardındaki tokenlar ve maliyet

En yüksek çabadaki puanlar bir token faturası getiriyor. Artificial Analysis, her iki Wonder modeli için görev başına yaklaşık 54.000 çıktı tokenı ölçtü. Karşılaştırma olarak Argon 62.000, Fable 5.1 78.000 ve GPT-6 Astra 27.000 çıktı tokenı kullandı.

Girdi tarafında Wonder, endeks boyunca 7,69 milyon token; Wonder Full ise 6,44 milyon token kullandı. Bu, OpenAI ve Google modellerinden iki ila yedi kat fazla. Sonuç olarak Wonder'ın görev başına maliyeti 4,52 dolara geldi. Bu, Opus 5.5'in 5,98 dolarının altında; ancak Astra'nın liste fiyatı 2,5 kat yüksek olmasına rağmen 3,26 dolarlık görev maliyetinin üzerinde.

Gerçek bir iş yükünde bunun ne anlama geldiğini fiyatlandırma yazısı ayrıntılı olarak inceliyor.

Kendinizin test etmesi gerekenler

Benchmarklar nereye bakacağınızı söyler; neyi yayına alacağınızı değil. Meta'nın iddia ettiği ajan odaklı güçler için doğru test kendi uzun görevinizdir. Şunlar iyi bir başlangıç olur:

• 30 adımlı bir refactor.
• Birden fazla belge gerektiren bir inceleme.
• Bilerek hata yerleştirilmiş bir araç döngüsü.

Apidog'da Muse Wonder, Opus 5.5 ve bugün kullandığınız modele aynı prompt ve araç tanımlarını kurun. Yapılandırılmış çıktıyı doğrulayın ve her模型deki usage değerini karşılaştırın. Kurulumu araç çağrısı test düzeneği ile deterministik olmayan ajan test rehberi anlatıyor. Üç modeli yan yana çalıştırmak için Apidog'u indirin.

API'nin sunduğunun Wonder Full değil Wonder olduğunu unutmayın. Meta'nın sınır modeliyle ilgili okuduğunuz benchmark başlıkları muhtemelen çağıramayacağınız modeli anlatıyor.

Sık sorulan sorular

Muse Wonder mevcut en iyi model mi?

Bağımsız bileşik puanda değil. Opus 5.5 58 alırken Wonder Full 56 ve Wonder 52 aldı. Wonder Full, SWE-Marathon, DeepSWE, Harvey LAB ve FocusBench gibi belirli ajan benchmarklarında önde.

Hangi benchmarklara güvenebilirim?

Artificial Analysis çalışmaları yeniden üretilebilir ve üçüncü taraf. Meta'nın modeller arası tablosunda rakip ayarları en iyi çabayla Meta çalıştırıyor. MemoryBench, FocusBench ve Personal Superintelligence Index ise yalnızca Meta'ya ait.

Gemini 4 Argon ile karşılaştırması nasıl?

Argon, yarısı fiyata Wonder'ın 52'sine karşı endekste 53 alıyor, Terminal-Bench'te Wonder Full ile 57%'de eşitleşiyor ve daha az halüsinasyon yapıyor: 15%'e karşı Wonder'da 27%. Tam tablo Argon benchmarklar yazımızda var.

En yüksek çaba modeli değiştirir mi?

Hayır. Çaba, Wonder'ın ne kadar akıl yürüttüğünü değiştirir; muse-wonder-1.0 modelini asla Muse Wonder Full'a dönüştürmez.

Sonraki adım

İş yükünüze en yakın benchmark'ı seçin: uzun kodlama çalışmaları için SWE-Marathon, bilgi hatırlama için Omniscience. Bu satırın, Wonder'ın bir denemeyi hak edip etmediğine karar vermesine izin verin. Bileşik sayı tek başına bunu yapmayacak.