Demostrar con tablas de clasificacion publicas: importa mas quien corrige

Resumen

Las afirmaciones de rendimiento en IA sobran. Lo que importa no es el tamano del numero, sino quien corrige y con que problemas. Este articulo explica como leer resultados de tablas de clasificacion publicas, cual es la trampa de autoevaluarse, y por que los resultados de VIDRAFT en tablas publicas operadas por terceros si tienen peso.

Por que la autoevaluacion es dificil de creer

Si yo creo el examen, lo resuelvo y me corrijo, puedo subir la nota cuando quiera. Basta con filtrar el conjunto de prueba hacia el entrenamiento, elegir la mejor de muchas ejecuciones, o dejar que una ruta de respaldo invente una respuesta. El numero sube y nada real cambia.

Por eso una metrica confiable cumple tres condiciones.

1. Corrige un tercero. El examen y la correccion los tiene una entidad externa.
2. El problema resiste la memorizacion. Preguntas de nivel posgrado que no se resuelven buscando.
3. Se sostiene en varias tablas. Una nota alta puede ser suerte, pero el primer puesto en varias tablas independientes es dificil de fingir.

Los resultados publicos, tal cual

Estos valores vienen de evaluaciones publicas operadas por terceros.

• AIME 2026 y HMMT de febrero 2026: puntuacion perfecta en los conjuntos de matematica de competencia.
• GPQA Diamond: 93.43% en la categoria por debajo de 500B, preguntas de ciencia de nivel posgrado disenadas para resistir la busqueda.
• Amplitud: primeros puestos en once categorias de tablas publicas y dieciseis categorias en la tabla Polaris de prediccion de farmacos.

La clave no es el tamano del numero. Es que el examen lo tenia otro, que resiste la memorizacion, y que el mismo metodo funciono en dominios muy distintos.

Lista de verificacion al leer una tabla

• Entrenamiento y prueba no se solapan. Si un item se filtra, la subida es una ilusion.
• Si hay puntuacion perfecta, primero sospecha que el examen es demasiado facil.
• Una diferencia positiva no es una victoria. Una subida dentro del ruido no es una subida.
• Si activaste un truco de aceleracion, sospecha primero del medidor.

Estos son los mismos principios que aplicamos a nuestros resultados antes de publicarlos.

Por que demostrar en publico

Una demo privada se ve bien en condiciones controladas. Una tabla publica traslada ese control afuera. Con el mismo examen y la misma correccion, cualquiera puede intentar reproducir. De ahi viene el peso de la prueba.

Preguntas frecuentes

Puntuacion perfecta es lo mejor? No necesariamente. Puede indicar que el examen perdio capacidad de discriminar.

Basta un primer puesto? Una tabla puede ser suerte. La confianza sube con varias tablas independientes.

De donde vienen los numeros? De evaluaciones publicas operadas por terceros.

La autoevaluacion no sirve? Sirve durante el desarrollo, pero no reemplaza la correccion externa.

Cierre

Una buena afirmacion no es "nuestro numero es alto", sino "en un examen que tenia otro, con problemas que resisten la memorizacion, a traves de varios dominios". Mira primero las condiciones, luego el numero.