DEV Community

Cover image for Gemini 4 Argon Benchmarks: Todas las 19 pruebas, cómo Google las ejecutó y las 5 en las que pierde
Roobia
Roobia

Posted on Originally published at apidog.com

Gemini 4 Argon Benchmarks: Todas las 19 pruebas, cómo Google las ejecutó y las 5 en las que pierde

Gemini 4 Argon lidera 13 de las 19 filas de la tabla de lanzamiento de Google, empata una (CWE-bench v1, con GPT-6 Astra) y queda por detrás en cinco: FrontierSWE v2, Terminal-bench 4.0, PostTrainBench, Terminal-Bench Science 0.1 y OSWorld-2.0. El problema es el acceso: Argon solo está disponible para los defensores del programa Fairwind, por lo que los desarrolladores fuera de la lista de socios de Google y unas pocas organizaciones de evaluación no pueden reproducir estos resultados todavía.

Prueba Apidog hoy

A continuación encontrarás la tabla completa, quién midió cada fila, las cinco pérdidas, las advertencias metodológicas, las puntuaciones cibernéticas, los marcadores de terceros y un flujo para preparar tu propia evaluación en Apidog antes de que se abra el acceso. Para una introducción al modelo, consulta qué es Gemini 4 Argon. Para comparar opciones, consulta Argon vs GPT-6 Astra vs Claude Opus 5.5.

La tabla completa, con quién midió cada fila

Estos son los resultados informados por Google en su publicación de lanzamiento y en el PDF de metodología de evaluación, que indica resultados a octubre de 2026.

Google calculó 10 de las 19 puntuaciones de Argon; las otras 9 proceden de tablas de clasificación públicas. Los resultados de los competidores proceden de esas tablas, de ejecuciones de Google o de tarjetas del sistema y publicaciones de los proveedores. Los arneses cambian según la fila, así que no trates el total de victorias como una comparación homogénea. La negrita marca al líder de cada fila.

Benchmark Gemini 4 Argon GPT-6 Astra Claude Fable 5.1 Claude Opus 5.5 Quién lo midió
Vals Index 68.9% 63.1% 65.8% 67.0% Vals AI
AutomationBench 51.3% 41.4% 31.4% 42.5% Tabla de clasificación de Zapier, conjunto privado
Vals Finance Agent v2 65.4% 53.5% 58.9% 58.6% Vals AI
Harvey Legal Agent 19.6% 5.4% 6.7% 3.8% Vals AI
DeepSWE v1.1 77.9% 74.1% 67.4% 74.2% Argon autocalculado; tabla de Astra; tarjetas del sistema Anthropic
FrontierSWE v2 55.0% 65.5% 56.3% 62.3% Tabla de clasificación de Proximal
Vibe Code Bench 91.9% 89.6% 90.3% 90.3% Vals AI
Terminal-bench 4.0 57.4% 58.2% 57.9% 66.4% Argon autocalculado; tabla de rivales
PostTrainBench 45.3% 44.3% 40.2% 49.3% Autocalculado para todos los modelos
Terminal-Bench Science 0.1 57.6% 68.1% 52.6% 63.3% Argon autocalculado; tabla de rivales
LABBench 2 88.8% 85.4% 68.6% 73.1% Autocalculado para todos los modelos
RiemannBench 76.0% 72.0% 65.6% 69.6% Tabla de clasificación de Surge
GraphWalks hasta 128K 99.7% 98.7% 91.4% 90.6% Autocalculado para todos los modelos
GraphWalks 256K a 1M 84.2% 71.8% 65.0% 66.8% Autocalculado para todos los modelos
Agent’s Last Exam 39.5% 34.2% n/i 38.2% Argon autocalculado; tabla de rivales
OSWorld-2.0, sin conexión 69.2% 72.6% n/i n/i Argon autocalculado; Astra del blog de OpenAI
Chartography 71.6% 71.0% 46.2% 66.3% Tabla de clasificación de Surge
LVBench 91.7% 87.5% 79.7% 83.7% Autocalculado para todos los modelos
CWE-bench v1 68.0% 68.0% 58.0% 67.0% Tabla de clasificación pública

n/i = no informado.

Grok 4.7, que no aparece en la tabla de Google, también obtiene un 68% en la tabla de CWE-bench. Por tanto, esa fila es un empate a tres bandas.

Si agrupas las filas por fuente:

  • 9 filas proceden de tablas de clasificación públicas para todos los modelos: Vals AI, Zapier, Proximal, Surge y CWE-bench. Argon lidera 7 y empata 1.
  • 5 filas fueron ejecutadas por Google para los cuatro modelos. Argon lidera 4.
  • 5 filas combinan una ejecución de Argon hecha por Google con resultados de competidores obtenidos en otros lugares. En este grupo están 3 de las 5 pérdidas de Argon.

Si la autocalculación favoreciera sistemáticamente a Argon, cabría esperar el patrón contrario.

Dónde Argon se queda atrás y qué implica para la codificación agencial

No te quedes solo con el recuento de 13 victorias. Si construyes agentes para repositorios, terminales o tareas de larga duración, revisa primero estas cinco filas:

  • FrontierSWE v2: 55.0% frente al 65.5% de Astra. Argon queda último de los cuatro, detrás de Fable 5.1 con 56.3% y Opus 5.5 con 62.3%.
  • Terminal-bench 4.0: 57.4% frente al 66.4% de Opus 5.5. Argon vuelve a quedar último; Astra y Fable 5.1 están a alrededor de un punto.
  • PostTrainBench: 45.3% frente al 49.3% de Opus 5.5. Segundo lugar en una fila ejecutada por Google para todos los modelos.
  • Terminal-Bench Science 0.1: 57.6% frente al 68.1% de Astra. Argon queda tercero, solo por delante de Fable 5.1. Google ejecutó el intento de Argon con un tiempo de espera del verificador de 6x.
  • OSWorld-2.0, subconjunto sin conexión: 69.2% frente al 72.6% de Astra. Anthropic solo informa una puntuación combinada para los modos en línea y sin conexión, por lo que Claude no aparece en esta fila.

La lectura para desarrollo agencial es mixta:

  1. Argon gana DeepSWE v1.1 y Vibe Code Bench.
  2. Argon queda último en FrontierSWE v2 y Terminal-bench 4.0.
  3. DeepSWE mezcla arneses: Argon usa un agente mini-swe, Astra procede de una tabla pública y Claude procede de tarjetas del sistema.
  4. Vibe Code Bench es más comparable porque Vals AI puntuó los cuatro modelos, aunque el margen de Argon es de 1.6 puntos.

Si tus flujos dependen de agentes que ejecutan comandos, modifican múltiples archivos o mantienen contexto durante tareas largas, prioriza pruebas propias de repositorio y terminal por encima del total de benchmarks. Astra mantiene ventaja en FrontierSWE; el hands-on de GPT-6 Astra muestra cómo se usa ese modelo actualmente. Para Anthropic, revisa el desglose de benchmarks de Claude Fable 5.1.

Bloomberg informa que empleados anónimos de Google con acceso indican que Argon decepciona en algunos trabajos de codificación y diseño de interfaz frente a sus puntuaciones de referencia. Google calificó esa caracterización de inexacta.

Advertencias metodológicas que cambian la lectura de la tabla

Antes de usar estas cifras para elegir un modelo, considera estas condiciones:

  • Máximo esfuerzo en todos los casos. Argon se ejecutó con la API de Gemini y los ajustes de pensamiento más altos. Para Astra, Fable 5.1 y Opus 5.5, Google usó los ajustes máximos de pensamiento o razonamiento disponibles. Esto compara límites máximos, no comportamiento predeterminado, latencia ni coste.
  • Entradas distintas en LVBench. Google ejecutó LVBench para los cuatro modelos sin herramientas. Gemini recibió vídeo muestreado a 1 FPS; Astra recibió 800 fotogramas, Fable 5.1 recibió 300 y Opus 5.5 recibió 600, debido a limitaciones de API. No todos los modelos vieron la misma entrada.
  • OSWorld usa el mejor de tres. La puntuación de Argon es el máximo de tres ejecuciones, con un intento por ejecución. No es un promedio.
  • Ventana de Agent’s Last Exam. Argon se ejecutó en ALE-Claw con una ventana de cinco horas.
  • Filtros de seguridad activados. Agent’s Last Exam y OSWorld se ejecutaron con filtros activos; las respuestas marcadas se devolvieron como cadenas vacías. Esto, en principio, perjudica a Argon.

Las filas cibernéticas de la página cibernética de DeepMind

La página cibernética de DeepMind añade cuatro resultados fuera de la tabla de lanzamiento:

Evaluación cibernética Gemini 4 Argon Comparación
Descubrimiento de vulnerabilidades en el mundo real 85.8% Gemini 3.8 Flash Cyber: 71.0%
Wiz Penetration Test Benchmark 70.9% Gemini 3.8 Flash Cyber: 58.2%
Éxito del ataque IPI de Gray Swan, k=15, menor es mejor 0.7% El más bajo de la tabla; Kimi K3 es el más alto con 52.7%
CWE-bench v1 68% Empate con Grok 4.7 y GPT-6 Astra; Opus 5.5 obtiene 67%

La evaluación de vulnerabilidades usó un arnés interno de Antigravity que no está especializado en ciberseguridad y que tenía acceso al código fuente. La prueba de Wiz proporciona al modelo acceso solo al sitio en ejecución y a su comportamiento público, sin código fuente de la aplicación.

Las comparaciones principales son frente al modelo cibernético anterior de Google, no frente a competidores. El explicador de defensa cibernética de Argon cubre qué implica para las API que operas.

Marcadores de terceros

Estas organizaciones publicaron resultados poco después del lanzamiento, por lo que tuvieron acceso previo:

  • Artificial Analysis: enumera Gemini 4 Argon (Alto) con un Índice de Inteligencia de 53, posición 8 de 223. La clasificación cuenta cada configuración de razonamiento por separado. Por modelo distinto, Argon empata con Fable 5.1 y GPT-6 Astra, y queda por detrás de Opus 5.5, con 58 en el máximo, y Sonnet 5.5, con 56 en el máximo. Informa una tasa de alucinaciones del 15% en AA-Omniscience, frente al 51% de Astra en el máximo, y una precisión del 50% frente al 63%. La ejecución del índice costó $1.99 por tarea, con aproximadamente 62K tokens de salida por tarea frente a aproximadamente 27K de Astra en el máximo. Artificial Analysis no muestra datos de velocidad o latencia.
  • Vals AI: sitúa a Argon en 68.90% en Vals Index, posición 1 de 41 y primer modelo Gemini en encabezar la tabla, a $15.68 por prueba. Vals AI informa una salida máxima de 262K para la configuración evaluada, por debajo del millón declarado por Google.
  • Arena: clasifica a Argon en la posición 1 de Texto, con 1525 puntos y marcado como preliminar tras 4.942 votos. En WebDev aparece en la posición 8.

Por qué los medios publican 12, 13 y 14 victorias

Los recuentos cambian según el rival comparado:

Comparado con Victorias de Argon Empates Pérdidas de Argon No informado
Mejor de los tres rivales 13 1 5 0
Solo GPT-6 Astra 14 1 4 0
Solo Claude Opus 5.5 14 0 4 1
Solo Claude Fable 5.1 15 0 2 2

Un total de 13 es correcto contra todo el campo. Un total de 14 es correcto en un enfrentamiento directo contra Astra u Opus 5.5. Un total de 12 no coincide con ninguno de estos recuentos de las 19 filas completas, así que conviene revisar qué benchmarks excluyó esa fuente.

También importa el margen. Harvey Legal Agent tiene una diferencia amplia, 19.6% frente a 6.7%; Chartography se decide por solo 0.6 puntos.

Cómo preparar tu propia evaluación antes de que se abra el acceso

Los benchmarks describen el arnés de Google. Tus prompts y criterios de aceptación describen tu producto. La forma práctica de prepararte es crear ahora una evaluación reproducible con un modelo disponible y cambiar una única variable cuando Argon tenga una ID pública.

1. Selecciona tareas reales

Elige prompts que se parezcan a tu carga de trabajo:

  • Una corrección en un repositorio.
  • Una tarea que requiera ejecutar comandos de terminal.
  • Una pregunta sobre documentación extensa.
  • Una solicitud de generación o modificación de una API.
  • Un caso que exija salida JSON estricta.

Evita prompts genéricos como “crea una aplicación de tareas”. Usa incidencias, errores y contratos de API que tu equipo ya conoce.

2. Crea un entorno en Apidog

En Apidog, crea un entorno con estas variables:

GEMINI_API_KEY=<tu_clave>
GEMINI_MODEL=gemini-3.8-flash
Enter fullscreen mode Exit fullscreen mode

Google no ha publicado la ID de modelo de Argon. Mantener el modelo en una variable permite cambiar solo este valor cuando esté disponible.

3. Parametriza la solicitud

Guarda cada prompt como una solicitud y lee el modelo desde {{GEMINI_MODEL}}.

Ejemplo de cuerpo de solicitud:

{
  "model": "{{GEMINI_MODEL}}",
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "{{prompt}}"
        }
      ]
    }
  ]
}
Enter fullscreen mode Exit fullscreen mode

Agrupa las solicitudes en un escenario de prueba: por ejemplo, repo-fixes, terminal-tasks o long-context.

4. Añade aserciones funcionales y de coste

No evalúes solo si la respuesta devuelve HTTP 200. Añade comprobaciones para:

  • Código de estado.
  • Campos obligatorios.
  • JSON válido.
  • Fragmentos esperados en la respuesta.
  • Ausencia de mensajes de error.
  • Límites de consumo en usageMetadata.
  • Un máximo de thoughtsTokenCount acorde a tu presupuesto.

Ejemplo de criterios mínimos:

status == 200
response.candidates[0].content.parts[0].text no está vacío
usageMetadata.thoughtsTokenCount <= 50000
Enter fullscreen mode Exit fullscreen mode

Ajusta el límite de tokens a tu propio tope de coste, no al máximo teórico del modelo.

5. Ejecuta una línea base hoy

Ejecuta el escenario con Gemini 3.8 Flash y guarda el informe:

  • Prompt exacto.
  • Modelo y configuración.
  • Fecha de ejecución.
  • Resultado de cada aserción.
  • Tokens de entrada, salida y pensamiento.
  • Tiempo de respuesta.
  • Coste estimado, si lo calculas.

Cuando Google publique la ID de Argon, cambia:

GEMINI_MODEL=<id_publica_de_argon>
Enter fullscreen mode Exit fullscreen mode

Después vuelve a ejecutar el mismo escenario. Así podrás comparar resultados con el mismo conjunto de tareas y criterios.

Google afirma que todos los modelos nuevos se lanzarán en la API de interacciones, por lo que también conviene guardar una versión de interacciones de cada solicitud. La comparación de Argon vs Gemini 3.8 Flash cubre qué esperar sobre precios y límites.

Preguntas frecuentes

¿Están verificados independientemente los benchmarks de Gemini 4 Argon?

Parcialmente. Nueve de las 19 filas proceden de tablas públicas para cada modelo, y Artificial Analysis, Vals AI y Arena publicaron sus propios resultados. El resto incluye ejecuciones realizadas por Google para Argon.

¿Cuál es la puntuación DeepSWE de Gemini 4 Argon?

Argon obtiene 77.9% en DeepSWE v1.1, por delante de Opus 5.5 con 74.2% y Astra con 74.1%. La ejecución de Argon usó un arnés de agente mini-swe; los resultados de los rivales proceden de una tabla y tarjetas de sistema.

¿Argon supera a GPT-6 Astra en benchmarks?

En la comparación directa de la tabla de Google, Argon gana 14 filas, empata una y pierde cuatro frente a Astra. En Artificial Analysis ambos empatan en 53.

¿Puedo volver a ejecutar estos benchmarks?

Todavía no. Argon está limitado a socios de Fairwind y Google no ha comunicado una fecha de disponibilidad pública. El rastreador de fechas de lanzamiento de Argon sigue el despliegue.

Siguiente paso

Crea el escenario ahora, ejecútalo con Gemini 3.8 Flash y guarda el informe. Cuando Argon se abra, tendrás resultados propios pocos minutos después de cambiar la variable de modelo. Descarga Apidog para configurarlo.

Top comments (0)