DEV Community

Cover image for Benchmarks de Muse Wonder
Roobia
Roobia

Posted on Originally published at apidog.com

Benchmarks de Muse Wonder

Benchmarks de Muse Wonder

Benchmarks de Muse Wonder

Muse Wonder Full obtiene 56 en el Artificial Analysis Intelligence Index, mientras que Muse Wonder alcanza 52. Eso los coloca detrás de Claude Opus 5.5, con 58, y de Claude Sonnet 5.5, con 56, pero por delante de GPT-6 Astra, Gemini 4 Argon y Claude Fable 5.1, todos con 53. La ficha oficial de Meta cuenta una historia diferente: Wonder Full lidera en programación prolongada, trabajo legal, automatización empresarial y memoria. Ambas lecturas pueden ser correctas porque miden cosas distintas, y entender esa diferencia es más útil que elegir un único número ganador.

Prueba Apidog hoy

Este análisis reúne las cifras publicadas por Meta y por evaluadores independientes, explica qué mide cada benchmark, identifica dónde lidera Wonder, dónde se queda atrás y cuáles resultados no pueden reproducirse fuera de Meta. Para una visión general del modelo, consulta el artículo explicativo de Muse Wonder.

La tabla de la ficha de modelo de Meta

Meta comparó Muse Wonder Full, Muse Wonder, GPT-6 Astra y Claude Opus 5.5 usando el máximo nivel de esfuerzo de razonamiento. Según el informe de VentureBeat sobre la ficha oficial, estos fueron los resultados:

Benchmark Qué mide Wonder Full Wonder GPT-6 Astra Claude Opus 5.5
Artificial Analysis Intelligence Index Compuesto de diez evaluaciones 56 52 53 58
Harvey LAB-AA Tareas de agente legal 13.1 10.0 8.6 4.2
AutomationBench-AA Automatización de procesos empresariales 45.4 39.1 41.6 41.2
JobBench Trabajo profesional 75.3 70.5 66.1 75.4
DeepSWE 1.1 Ingeniería de software 79.0 78.8 74.1 74.2
SWE-Marathon Ejecuciones prolongadas de código 57.5 53.1 42.5 46.3
Terminal-Bench 4.0-AA Tareas de agente en terminal 57.1 52.0 59.1 59.6
HealthBench Pro Preguntas de salud 62.3 60.5 65.3 65.6

El patrón es claro cuando se lee la tabla por filas. Wonder Full domina las tareas largas y agénticas: gana SWE-Marathon por 11 puntos sobre Opus 5.5, DeepSWE por casi cinco puntos y Harvey LAB por un factor de tres. En cambio, queda detrás en tareas de terminal, salud y en el índice compuesto. Incluso dentro de la tabla de Meta, Opus 5.5 sigue siendo el modelo más fuerte en conjunto; Wonder Full es el más persistente en trabajos extensos.

Meta incluye dos advertencias importantes. Primero, los modelos de la competencia se ejecutaron con el mejor esfuerzo posible, pero con configuraciones que podrían no haber sido óptimas para ellos. Segundo, algunas comparaciones de código usaron herramientas distintas, por lo que esas filas son menos controladas que el resto de la tabla.

Los benchmarks internos de Meta: memoria y enfoque

Tres cifras del material de lanzamiento provienen de pruebas que solo Meta puede ejecutar.

Benchmark Wonder Full Wonder GPT-6 Astra Claude Opus 5.5 Claude Fable 5.1
MemoryBench 85.5 85.6 81.4 81.5 79.0
FocusBench 54.2 44.9 47.7 45.8 36.6

MemoryBench oculta hechos dentro de conversaciones de entre 64K y 100K tokens, añade distractores y modifica algunos hechos a mitad de la conversación. El modelo debe recordar la versión vigente. Meta presenta esta prueba como evidencia de Active Memory.

FocusBench evalúa si un modelo continúa persiguiendo su objetivo despite los obstáculos, lo que corresponde a Active Focus. Es importante notar que el Wonder más pequeño queda por debajo de Astra y Opus en FocusBench; solo Wonder Full lidera.

La tercera cifra interna, el Personal Superintelligence Index, no tiene comparación pública con modelos competidores.

Estas pruebas describen comportamientos plausibles y relevantes, pero también son exactamente los comportamientos para los que Meta entrenó el modelo. Hasta que un tercero pueda ejecutarlas, es más riguroso tratarlas como una descripción del objetivo de entrenamiento que como evidencia independiente.

Las puntuaciones independientes: Artificial Analysis

Artificial Analysis evaluó ambos modelos con su Intelligence Index v4.3 en modo de esfuerzo máximo. Estos son el índice compuesto y sus componentes:

Evaluación Wonder Full Wonder Muse Spark 1.3 Comparación destacada
Intelligence Index 56 52 48 Opus 5.5: 58; Sonnet 5.5: 56; Astra / Argon / Fable 5.1: 53; Grok 4.6: 44
Terminal-Bench 4.0 57% 52% 33% Gemini 4 Argon: 57%
GDPval-AA, Elo 1857, #2 n/a 1681 Opus 5.5: 1866; Sonnet 5.5: 1838
AA-Briefcase, Elo 1729, #3 n/a 1581 —
CritPt 33%, #1 n/a n/a Rivales más cercanos: 31% a 32%
GDP.pdf 33%, #1 n/a n/a Rivales más cercanos: 31% a 32%
SciCode 63%, #3 n/a n/a —
AA-Omniscience, conocimiento 30 25 25 Opus 5.5: 46; Astra: 43; Argon: 42; Sonnet 5.5: 32
Tasa de alucinación 23% 27% 33% Gemini 4 Argon: 15%
Coding Agents Index 68 63 54 Claude Code con Sonnet 5.5: 68; Opus 5.5: 66

Tres conclusiones destacan.

El salto desde Muse Spark es real

Wonder Full gana ocho puntos en el índice compuesto respecto a Muse Spark 1.3 en seis semanas, y su resultado en Terminal-Bench casi se duplica. Artificial Analysis lo describe como un salto material en inteligencia respecto a modelos anteriores de Meta.

El conocimiento es el punto débil

Un resultado de 30 en AA-Omniscience, frente a 46 para Opus 5.5, indica que Wonder Full conoce menos hechos. Su menor tasa de alucinación sugiere, sin embargo, que es menos propenso a inventarlos. Para productos que dependen de recuperación factual, esto favorece usar búsqueda o documentos propios en lugar de confiar en la memoria paramétrica del modelo.

Varias ventajas son estrechas

CritPt y GDP.pdf superan a los rivales más cercanos por apenas uno o dos puntos. La ventaja de GDPval sobre Sonnet 5.5 está dentro de los intervalos de confianza. El empate en Coding Agents Index con Claude Code usando Sonnet 5.5 es especialmente relevante para quien elige un runtime de agentes, pero ese resultado pertenece a Wonder Full, no al modelo disponible por API.

La fila donde Meta y Artificial Analysis discrepan

La ficha de Meta muestra 59.0 para Wonder Full en una fila identificada como Artificial Analysis Intelligence Index. Artificial Analysis publica 56. La diferencia puede deberse a una versión distinta del índice, fechas de ejecución diferentes o al propio arnés de evaluación de Meta, pero ninguna de las dos partes ha explicado públicamente la causa.

La regla práctica es simple: si ves 59, es la cifra de Meta; si ves 56, es la independiente.

La misma ambigüedad aparece en AutomationBench. Meta reporta 45.4 para Wonder Full y 39.1 para Wonder, mientras que Artificial Analysis reporta 71% y 68% en lo que parece ser una versión diferente de la prueba. Por eso, cita siempre la fuente junto con el número.

Tokens y coste detrás de las puntuaciones

El esfuerzo máximo tiene un coste medible en tokens. Artificial Analysis registró aproximadamente 54,000 tokens de salida por tarea para ambos modelos Wonder, frente a 62,000 para Gemini 4 Argon, 78,000 para Claude Fable 5.1 y 27,000 para GPT-6 Astra.

En tokens de entrada, Wonder usó 7.69 millones en el índice y Wonder Full usó 6.44 millones, entre dos y siete veces más que los modelos de OpenAI y Google incluidos en la comparación.

El resultado es un coste por tarea de 4.52 dólares para Wonder: menor que los 5.98 dólares de Opus 5.5, pero mayor que los 3.26 dólares de Astra, a pesar de que Astra tiene un precio de lista 2.5 veces más alto. La publicación sobre precios analiza el impacto en cargas reales.

Qué probar por tu cuenta

Los benchmarks sirven para decidir dónde mirar, no qué enviar directamente a producción. Si quieres validar las fortalezas agénticas afirmadas por Meta, usa una tarea larga propia:

  • Una refactorización de 30 pasos.
  • Una revisión multidocumento.
  • Un flujo con varias herramientas y fallos deliberados.
  • Un caso real con salida estructurada obligatoria.

En Apidog, configura los mismos prompts y definiciones de herramientas para Muse Wonder, Claude Opus 5.5 y tu modelo actual. Valida la salida estructurada y compara el campo usage en cada respuesta para medir calidad, tokens y coste en las mismas condiciones.

El arnés de pruebas para llamadas a herramientas y la guía de pruebas de agentes no deterministas cubren la configuración paso a paso. También puedes descargar Apidog y ejecutar las pruebas en paralelo.

Recuerda que la API sirve Muse Wonder, no Muse Wonder Full. Muchos titulares sobre el modelo frontera de Meta pueden referirse al modelo que no está disponible por API.

Preguntas frecuentes

¿Es Muse Wonder el mejor modelo disponible?

No según el índice compuesto independiente. Claude Opus 5.5 obtiene 58, frente a 56 para Wonder Full y 52 para Wonder. Wonder Full lidera benchmarks agénticos específicos como SWE-Marathon, DeepSWE, Harvey LAB y FocusBench.

¿Qué benchmarks puedo creer?

Las ejecuciones de Artificial Analysis son independientes y reproducibles. La tabla cruzada de Meta fue ejecutada por Meta, con configuraciones de mejor esfuerzo para la competencia. MemoryBench, FocusBench y el Personal Superintelligence Index solo pueden ejecutarse dentro de Meta.

¿Cómo se compara con Gemini 4 Argon?

Argon obtiene 53 en el índice, frente a 52 para Wonder, a la mitad del precio. Empata con Wonder Full en Terminal-Bench con 57% y tiene una tasa de alucinación menor: 15% frente a 27% para Wonder. La publicación de benchmarks de Gemini 4 Argon incluye su tabla completa.

¿El esfuerzo máximo convierte Muse Wonder en Muse Wonder Full?

No. El parámetro de esfuerzo controla cuánto razona el modelo; no transforma muse-wonder-1.0 en Muse Wonder Full.

Siguiente paso

Elige el benchmark más cercano a tu carga real: SWE-Marathon para tareas largas de código, AA-Omniscience para recuperación de hechos o Coding Agents Index para runtimes de agentes. Después, traduce ese benchmark en una prueba propia con tus prompts, herramientas y datos. El número compuesto puede orientar la comparación inicial, pero no debería tomar la decisión de producción por ti.

Top comments (0)