Muse-Wonder-Benchmarks

Muse Wonder Full erreicht 56 im Artificial Analysis Intelligence Index; Muse Wonder erreicht 52. Zum Vergleich: Claude Opus 5.5 liegt bei 58, Claude Sonnet 5.5 bei 56, GPT-6 Astra, Gemini 4 Argon und Claude Fable 5.1 jeweils bei 53. Metas eigene Model Card zeichnet ein stärkeres Bild: Führung bei langlaufender Programmierung, juristischen Aufgaben, Geschäftsprozessautomatisierung und Gedächtnis. Beides ist richtig, weil unterschiedliche Dinge gemessen werden – und genau diese Lücke ist die nützlichste Erkenntnis dieses Artikels.

Probiere Apidog heute

Im Folgenden findest du alle veröffentlichten Zahlen von Meta und unabhängigen Quellen – inklusive dessen, was jeder Benchmark misst, wo Wonder führt, wo es zurückliegt und welche Werte außerhalb von Meta nicht reproduzierbar sind. Eine Einführung ins Modell selbst liefert die Muse-Wonder-Erklärung.

Metas Model-Card-Tabelle

Meta verglich Muse Wonder Full, Muse Wonder, GPT-6 Astra und Claude Opus 5.5 bei maximalem Reasoning-Aufwand. Die Zeilen stammen laut VentureBeats Bericht zur Model Card:

Benchmark	Was er misst	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5
Artificial Analysis Intelligence Index	Composite aus zehn Evaluierungen	56	52	53	58
Harvey LAB-AA	Juristische Agentenaufgaben	13.1	10.0	8.6	4.2
AutomationBench-AA	Automatisierung von Geschäftsprozessen	45.4	39.1	41.6	41.2
JobBench	Professionelle Arbeit	75.3	70.5	66.1	75.4
DeepSWE 1.1	Software Engineering	79.0	78.8	74.1	74.2
SWE-Marathon	Langlaufende Code-Ausführungen	57.5	53.1	42.5	46.3
Terminal-Bench 4.0-AA	Terminal-Agentenaufgaben	57.1	52.0	59.1	59.6
HealthBench Pro	Gesundheitsfragen	62.3	60.5	65.3	65.6

Quer gelesen wird das Muster klar. Wonder Full gewinnt bei langen, agentischen Aufgaben: SWE-Marathon mit 11 Punkten Vorsprung vor Opus 5.5, DeepSWE mit etwa fünf Punkten und Juristik mit deutlichem Abstand. Es liegt bei Terminalarbeit, Gesundheit und im Composite-Index zurück. Selbst in Metas Tabelle ist Opus 5.5 aggregiert das intelligentere Modell; Wonder Full ist das beharrlichere.

Meta nennt selbst zwei Einschränkungen. Konkurrenzläufe erfolgten nach Best Effort, mit Einstellungen, die für diese Modelle möglicherweise nicht optimal waren. Zusätzlich nutzten einige Code-Vergleiche anderes Tooling, wodurch diese Zeilen weniger kontrolliert sind als der Rest.

Metas interne Benchmarks: Memory und Fokus

Drei Zahlen in Metas Launch-Material stammen aus Tests, die nur Meta selbst ausführen kann.

Benchmark	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5	Claude Fable 5.1
MemoryBench	85.5	85.6	81.4	81.5	79.0
FocusBench	54.2	44.9	47.7	45.8	36.6

MemoryBench versteckt Fakten in Gesprächen mit 64K bis 100K Tokens, fügt Distraktoren hinzu und ändert einige Fakten während des Verlaufs. Das Modell muss jeweils die aktuelle Version abrufen. Das ist der Beleg für die Active-Memory-Funktion.

FocusBench misst, ob ein Modell ein Ziel trotz Blockern weiterverfolgt – die Active-Focus-Funktion. Bemerkenswert ist, dass das kleinere Wonder bei FocusBench unter Astra und Opus liegt; nur Full führt. Eine dritte interne Zahl, der Personal Superintelligence Index, hat keinen veröffentlichten Konkurrenzvergleich.

Diese Tests beschreiben plausible Verhaltensweisen – aber genau die Verhaltensweisen, für die Meta trainiert hat. Solange niemand außerhalb von Meta sie ausführen kann, behandele sie als Beschreibung des Trainingsziels, nicht als unabhängige Validierung.

Die unabhängigen Werte: Artificial Analysis

Artificial Analysis hat beide Modelle bei maximalem Aufwand mit dem Intelligence Index v4.3 getestet. Das Composite und die Einzelwerte:

Evaluierung	Wonder Full	Wonder	Muse Spark 1.3	Beachtenswerter Vergleich
Intelligence Index	56	52	48	Opus 5.5: 58, Sonnet 5.5: 56, Astra / Argon / Fable 5.1: 53, Grok 4.6: 44
Terminal-Bench 4.0	57%	52%	33%	Gemini 4 Argon: 57%
GDPval-AA (Elo)	1857, #2	n/a	1681	Opus 5.5: 1866, Sonnet 5.5: 1838
AA-Briefcase (Elo)	1729, #3	n/a	1581	–
CritPt	33%, #1	n/a	n/a	Nächste Rivalen: 31–32%
GDP.pdf	33%, #1	n/a	n/a	Nächste Rivalen: 31–32%
SciCode	63%, #3	n/a	n/a	–
AA-Omniscience	30	25	25	Opus 5.5: 46, Astra: 43, Argon: 42, Sonnet 5.5: 32
Halluzinationsrate	23%	27%	33%	Gemini 4 Argon: 15%
Coding Agents Index	68	63	54	Claude Code mit Sonnet 5.5: 68, Opus 5.5: 66

Drei Punkte sind besonders relevant.

Der Sprung von Spark ist real. Acht Punkte im Composite innerhalb von sechs Wochen und eine nahezu verdoppelte Terminal-Bench-Leistung sind deutlich. Artificial Analysis bezeichnete das als materiellen Intelligenzsprung gegenüber früheren Meta-Modellen.

Wissen ist die Schwachstelle. Ein Omniscience-Score von 30 gegenüber 46 für Opus 5.5 bedeutet, dass Wonder weniger Fakten kennt. Die niedrigere Halluzinationsrate macht es allerdings unwahrscheinlicher, dass fehlendes Wissen einfach erfunden wird. Für retrieval-lastige Produkte spricht das für Grounding mit Suche oder eigenen Dokumenten statt für reines Modellgedächtnis.

Mehrere Führungsränder sind schmal. CritPt und GDP.pdf liegen nur ein bis zwei Punkte vor dem Feld. Die GDPval-Führung über Sonnet 5.5 liegt innerhalb der Konfidenzintervalle. Der Gleichstand im Coding Agents Index mit Claude Code auf Sonnet 5.5 ist für die Wahl einer Agent-Runtime besonders relevant – gehört aber zu Full, nicht zum API-Modell.

Die Zeile, in der Meta und Artificial Analysis abweichen

Metas Model Card listet Wonder Full mit 59.0 in einer Zeile des Artificial Analysis Intelligence Index. Artificial Analysis veröffentlicht 56. Die Differenz stammt vermutlich aus Indexversionen, Laufdaten oder Metas eigenem Evaluations-Harness; öffentlich erklärt hat sie keine Seite. Wenn du 59 zitiert siehst, ist es Metas Zahl. Bei 56 handelt es sich um die unabhängige Angabe.

Dieselbe Art von Lücke zeigt sich bei AutomationBench: Metas Tabelle nennt 45.4 und 39.1, Artificial Analysis meldet 71% und 68% bei offenbar einer anderen Testversion. Zitiere daher immer die Quelle zusammen mit der Zahl.

Tokens und Kosten hinter den Scores

Scores bei maximalem Aufwand haben eine Tokenrechnung. Artificial Analysis maß rund 54.000 Output-Tokens pro Aufgabe für beide Wonder-Modelle, gegenüber etwa 62.000 für Argon, 78.000 für Fable 5.1 und 27.000 für GPT-6 Astra.

Beim Input verbrauchte Wonder 7,69 Millionen Tokens über den Index; Full nutzte 6,44 Millionen. Das ist zwei- bis siebenmal mehr als bei den OpenAI- und Google-Modellen. Dadurch lag Wonders Kosten pro Aufgabe bei 4,52 US-Dollar – unter Opus 5.5 mit 5,98 US-Dollar, aber über Astra mit 3,26 US-Dollar, obwohl Astras Listenpreis 2,5-mal höher ist.

Der Preisbeitrag rechnet durch, was das für eine reale Workload bedeutet.

Was du selbst testen solltest

Benchmarks zeigen, wo du hinschauen solltest – nicht, was du ausliefern solltest. Für die agentischen Stärken, die Meta behauptet, ist der richtige Test deine eigene lange Aufgabe: ein Refactor mit 30 Schritten, eine Review über mehrere Dokumente oder eine Tool-Schleife mit absichtlich eingebauten Fehlern.

Richte in Apidog dieselben Prompts und Tool-Definitionen für Muse Wonder, Opus 5.5 und dein aktuelles System ein. Prüfe den strukturierten Output und vergleiche jeweils usage, damit Qualität und Kosten zusammen bewertet werden:

{
  "model": "muse-wonder-1.0",
  "input_tokens": 128430,
  "output_tokens": 51240,
  "task_completed": true,
  "tool_calls_correct": 27,
  "tool_calls_total": 30
}

Der Tool-Call-Test-Harness und der Leitfaden für nichtdeterministische Agententests beschreiben das Setup. Lade Apidog herunter, um alle drei Modelle nebeneinander auszuführen.

Denke daran: Die API liefert Wonder, nicht Full. Jede Benchmark-Schlagzeile über Metas Frontier-Modell beschreibt wahrscheinlich das Modell, das du nicht aufrufen kannst.

Häufig gestellte Fragen

Ist Muse Wonder das beste verfügbare Modell?

Nicht im unabhängigen Composite. Opus 5.5 erreicht 58 gegenüber 56 für Full und 52 für Wonder. Wonder Full führt bei spezifischen agentischen Benchmarks: SWE-Marathon, DeepSWE, Harvey LAB und FocusBench.

Welchen Benchmarks kann ich vertrauen?

Artificial-Analysis-Läufe sind unabhängig und reproduzierbar. Metas modellübergreifende Tabelle führt Meta selbst aus, mit Best-Effort-Einstellungen für Konkurrenten. MemoryBench, FocusBench und der Personal Superintelligence Index sind Meta-exklusiv.

Wie schneidet es gegen Gemini 4 Argon ab?

Argon erreicht 53 im Index gegenüber 52 für Wonder – bei halbem Preis. Full liegt bei Terminal-Bench mit 57% gleichauf, und Argon halluziniert weniger: 15% gegenüber 27%. Der Argon-Benchmarks-Beitrag enthält die vollständige Tabelle.

Verändert maximaler Aufwand das Modell?

Nein. Der Aufwand verändert, wie lange Wonder reasoningiert. Er verwandelt muse-wonder-1.0 nie in Muse Wonder Full.

Nächster Schritt

Wähle den Benchmark, der deiner Workload am nächsten liegt: SWE-Marathon für lange Code-Läufe oder Omniscience für faktisches Abrufen. Lass diesen Benchmark entscheiden, ob Wonder einen Praxistest erhält. Die Composite-Zahl allein wird es nicht.