DEV Community

Henry Ramirez for TECNOLOGIA GEEK LLC

Posted on Originally published at tecnologiageek.com on

Decisions API de OpenAI con GPT-6 Luna en milisegundos

La Decisions API de OpenAI con GPT-6 Luna ya está disponible para todos los desarrolladores y responde hasta diez veces más rápido que la vía habitual. OpenAI la sacó de la fase beta el 22 de octubre y la dejó lista para producción: en lugar de redactar una respuesta larga, el sistema devuelve una probabilidad, una opción cerrada o una puntuación. Para una aplicación que clasifica mensajes o reparte casos de soporte, ese formato cambia el tiempo de espera del usuario.

El dato de velocidad tiene respaldo concreto. Nikunj Handa, responsable de producto de la interfaz de programación de aplicaciones (API) de OpenAI, contó a TechCrunch que las respuestas bajaron de uno a tres segundos a un rango de 100 a 180 milisegundos. La Decisions API de OpenAI con GPT-6 Luna trabaja sobre el endpoint POST /v1/decisions y es, por ahora, el único modelo admitido en ese servicio. No genera texto libre: entrega respuestas con tipo definido, listas para que el programa actúe sin interpretar párrafos.

Tres tipos de respuesta para tareas pequeñas y repetidas

Una pregunta de tipo predicate devuelve la probabilidad de que una condición sea cierta, con un valor entre 0 y 1. Sirve para estimar si la foto de un producto muestra un daño visible o si un cobro duplicado aparece respaldado por el registro de la orden, el caso exacto que OpenAI ilustra en su documentación oficial.

Las preguntas de tipo choice eligen un valor entre opciones cerradas que define el desarrollador, como el departamento que debe atender una queja: facturación, técnico, envíos u otro. Las de tipo score puntúan contra niveles ordenados, de un problema cosmético a un bloqueo total, y devuelven el promedio ponderado por probabilidad junto a un índice de confianza. Esa cifra permite enviar los casos dudosos a una persona en lugar de ejecutar una acción automática con datos flojos.

Cada solicitud combina tres piezas: el modelo, la evidencia compartida y la lista de preguntas. La evidencia admite texto, imágenes y datos estructurados en formato JSON (JavaScript Object Notation) sin convertirlos antes a texto plano. Una sola llamada puede revisar una foto para detectar daños y clasificar su categoría al mismo tiempo, porque las preguntas independientes comparten la misma entrada.

Empresas que ya miden la velocidad en producción

Box reportó una selección de ruta de documentos unas cinco veces más rápida al evaluar 30 certificados de seguro, con la misma precisión de la Responses API. Datadog, que puntúa el riesgo de comandos generados por agentes antes de ejecutarlos, midió una latencia en el percentil 95 unas 40 veces menor frente a modelos avanzados comparables. Son cifras reportadas por cada empresa en sus propias evaluaciones y publicadas por OpenAI en el anuncio, no una medición independiente.

Speak, la aplicación para aprender idiomas, bajó el tiempo entre acciones de 1,4 segundos a 0,13 segundos al integrar el servicio con GPT-Live, la modalidad de voz en vivo de OpenAI. Sierra registró menos de 280 milisegundos en el percentil 95 al elegir la acción siguiente dentro de conversaciones con clientes, con un costo por llamada 90 % menor. La propia OpenAI lo usa puertas adentro: su equipo de finanzas personales categoriza descripciones de transacciones y el de comunicaciones clasifica cobertura periodística por tema.

Precio de la Decisions API de OpenAI y límites de uso

El precio publicado es de US$0,10 por cada millón de tokens de entrada sin caché y US$0,01 por millón cuando la entrada viene de la caché, en Estados Unidos. Los tokens de salida no se cobran en este servicio. La versión disponible para todos admite hasta 400 preguntas por solicitud, el doble de las 200 de la beta pública abierta a principios de octubre. La caché reutiliza contexto compartido, el historial de conversación entra como evidencia y GPT-Live permite disparar decisiones mientras llega la transcripción de una llamada.

Ese diseño tiene límites claros. Las decisiones que dependen de una respuesta anterior exigen solicitudes separadas, el servicio no acepta archivos ni referencias a elementos internos y trabaja con un solo modelo. Para generar un objeto con un esquema propio o pedirle al modelo que llame a una herramienta, la documentación oficial remite a la Responses API. La Decisions API de OpenAI con GPT-6 Luna cubre otra franja: clasificar, enrutar y puntuar a gran volumen.

La competencia con Jev aprieta el paso

El lanzamiento llega con un rival nombrado en la cobertura de TechCrunch: Jev, el modelo de decisiones de TypeSafe, empresa fundada por un antiguo investigador de OpenAI y valorada en US$7.600 millones. Esa categoría demostró que muchas tareas de los modelos grandes de lenguaje se resuelven con una elección entre opciones y un nivel de confianza. OpenAI no entrenó un modelo nuevo para pelear ese terreno; reconfiguró GPT-6 Luna para una inferencia más rápida y barata, de acuerdo con lo relatado por Handa a ese medio.

Queda una advertencia práctica para quien lo adopte. Una respuesta con formato cerrado facilita automatizar, y automatizar un criterio mal definido multiplica el error a la misma velocidad que reparte aciertos. Los umbrales deben salir de ejemplos reales y etiquetados de cada aplicación, como recomienda la guía de OpenAI, y las acciones con dinero o seguridad de por medio necesitan reglas fijas del programa, no la confianza de un modelo. Handa adelantó a TechCrunch una meta interna de 60 milisegundos por llamada, cifra reportada como objetivo y no como rendimiento disponible.

Fuente: OpenAI

Foto: OpenAI

La entrada Decisions API de OpenAI con GPT-6 Luna en milisegundos se publicó primero en Tecnología Geek.

Top comments (0)