Estrategias y Factores a tener en cuenta antes de implementar IA en QA

Steven Gilbert Ayala — Sat, 25 Oct 2025 11:31:42 +0000

En el articulo anterior les hable sobre tecnicamente implementar "De User Story a Test Case en minutos: microservicio IA (FastAPI + Gemini + Langfuse) para QA".

*1 - Tener claro el valor que añade y no implementar IA por moda. *

Siento que es importante aclarar que si bien tecnicamente es recomendable es muy importante entender que el exito del proyecto en la organizacion sea tu propio negocio y/o equipo de trabajo es la expectativa que se genera, o siendo mas objetivos respecto a este punto que primero hay que tener definido KPIs.

Un KPI, sigla que proviene de la frase en inglés key performance indicator (indicador clave de rendimiento), es una métrica cuantitativa que muestra cómo tu equipo o empresa progresa hacia tus objetivos empresariales más importantes.

Las empresas usan KPI en varios niveles. Podes establecer KPI para toda la empresa, específicos del equipo o individuales, dependiendo de las métricas a las que quieres dar seguimiento. Un buen KPI puede darte una idea de si vas por el camino correcto para alcanzar tus objetivos estratégicos.

Fuente de la imagen: https://blog.cliento.mx/cliento-insights/como-definir-y-hacer-seguimiento-de-tus-kpis

Si bien uno como QA Enginner , Analista o Tester puede tener la predisposicion de implementar en una organizacion algo tan innovador como IA dentro de un flujo de Analisis, el negocio y/o gerencia de tecnologia tiene que entender que es lo que va a mejorar dentro del ciclo de vida de desarrollo y luego eso como se alinea a la estrategia del equipo de QA en caso de que exista para que añada valor a todos por igual segun el contexto.

La pregunta que me hicieron los ultimos meses es: _¿cuanto tiempo se gana por cada pedido cuando se analiza con IA? _

La respuesta mas rapida que viene ahi es que depende del contexto porque en la mayoria de los casos el analisis no es una tarea repetitiva medible por un inicio y fin tradicional y no es medible numericamente siendo objetivamente claros en una herramienta de gestion de requisitos o herramienta de plan de pruebas.

El problema de la respuesta de depende del contexto es que no responde la pregunta de que se gana a corto plazo por ende no existe un KPI medible.

*2- Infraestructura *

El uso de IA tiene un costo por uso a diferencia de un desarrollo desplegado on-premise en un servidor interno de QA o una nube de la empresa.

Lo positivo es que uno en el desarrollo del microservicio que recomende tecnicamente podes elegir el LLM que vos quieras, tengas a predisposicion pero el LLM es un factor importante en la calidad de los analisis, si usas modelos on-premise implica menores costos en terminos de pagos a proveedores o servicios externos pero implica mayores costos a nivel de infraestructura.

Si es para un uso propio creo que con una cuenta propia en una herramienta como Gemini, Chat GPT a llegar ser suficiente para resolver, pero teniendo en cuenta que existe un limite de tokens para algunos modelos existentes por mas que uno pague de manera personal tiene un limite asignado y no les recomiendo usar su apikey en su empresa para todo un equipo.

Bajo el capó de cada aplicación de IA hay algoritmos que procesan datos en su propio lenguaje, basado en un vocabulario de tokens.

Los tokens son pequeñas unidades de datos que se obtienen al desglosar fragmentos de información más grandes. Los modelos de IA procesan los tokens para aprender las relaciones entre ellos y desbloquear capacidades como la predicción, la generación y el razonamiento. Cuanto más rápido se puedan procesar los tokens, más rápido podrán aprender y responder los modelos.

Recomendacion , si la empresa esta decidida en implementar IA debe de tener claro desde el principio los recursos disponibles y lo que tendra que incurrir para que las automatizaciones no sean un maquillaje con IA por moda y realmente se usen modelos que añadan valor.

Y vos como experto en QA en tu organizacion tenes que definir objetivos medibles y no prometer o vender objetivos que sean imposibles de lograr antes de implementar IA en el proceso de control de calidad ya que sin importar que tan innovador sea el proyecto, si las expectativas irreales el proyecto va a fracasar.

De User Story a Test Case en minutos: microservicio IA (FastAPI + Gemini + Langfuse) para QA

Steven Gilbert Ayala — Sun, 19 Oct 2025 22:54:24 +0000

Idea central: si la IA entiende tu User Story y sus criterios de aceptación, puede proponer un set inicial de casos de prueba trazables (Basado en buenas practicas de ISTQB), en minutos. Tu equipo se enfoca en revisar, enriquecer y automatizar… no en escribir desde cero.

¿Qué problema resuelve?

Pasar de requerimientos a test cases suele tomar horas.

El coverage inicial varía según la experiencia del analista.

La trazabilidad con la HU a veces queda “a mano”.

Normalmente los casos de pruebas generados de manera manual u organicamente no cuenta con una estructura formal, al generar con IA se puede modificar a demanda la estructura de salida de los casos de pruebas para luego integrar dentro de una herramienta de gestion de pruebas de manera manual o por una API.

Objetivo del microservicio: acelerar la fase de análisis y diseño con una primera versión de pruebas coherentes, priorizadas y trazables. No reemplaza a QA: te da un kick-off sólido.

Arquitectura del Proyecto:

FastAPI recibe HU/AC → arma prompt → llama a Gemini (generate_content).

Persiste/normaliza el resultado.

Envía a Langfuse: trace + generation (input/output, modelo, timing, tags como user_story_id).

Ejemplo de Despliegue configurado en railway:

URL Swagger: https://ia-analisis-production.up.railway.app/

Ejemplo de visualizacion en Langfuse:

Este microservicio forma parte de una de las posibles automatizaciones de controles y de tareas relacionadas con el control de calidad del software, las personas que implementen mejoras para optimizar tiempo obtendran mejores resultados en terminos de calidad.

Este repositorio esta de manera publica para que puedas ver como implemente el proyecto: https://github.com/stevenayal/aiquaa-ai-analysis-ms

La siguiente fase sera contar con una persistencia con una base de datos y con dichos datos apalancarse para poder diseñar con una herramienta de gestion de pruebas.

Espero que este articulo te sirva para poder empezar con el pie derecho con la automatizacion de procesos de pruebas e implementar IA de la forma mas practica.

"La IA no te va a reemplazar. Serás reemplazado por alguien que la use para superarte"

DEV Community: Steven Gilbert Ayala

Estrategias y Factores a tener en cuenta antes de implementar IA en QA

De User Story a Test Case en minutos: microservicio IA (FastAPI + Gemini + Langfuse) para QA