DEV Community

Steven Gilbert Ayala
Steven Gilbert Ayala

Posted on

Estrategias y Factores a tener en cuenta antes de implementar IA en QA

En el articulo anterior les hable sobre tecnicamente implementar "De User Story a Test Case en minutos: microservicio IA (FastAPI + Gemini + Langfuse) para QA".

*1 - Tener claro el valor que añade y no implementar IA por moda. *

Siento que es importante aclarar que si bien tecnicamente es recomendable es muy importante entender que el exito del proyecto en la organizacion sea tu propio negocio y/o equipo de trabajo es la expectativa que se genera, o siendo mas objetivos respecto a este punto que primero hay que tener definido KPIs.

Un KPI, sigla que proviene de la frase en inglés key performance indicator (indicador clave de rendimiento), es una métrica cuantitativa que muestra cómo tu equipo o empresa progresa hacia tus objetivos empresariales más importantes.

Las empresas usan KPI en varios niveles. Podes establecer KPI para toda la empresa, específicos del equipo o individuales, dependiendo de las métricas a las que quieres dar seguimiento. Un buen KPI puede darte una idea de si vas por el camino correcto para alcanzar tus objetivos estratégicos.

Fuente de la imagen: https://blog.cliento.mx/cliento-insights/como-definir-y-hacer-seguimiento-de-tus-kpis

Si bien uno como QA Enginner , Analista o Tester puede tener la predisposicion de implementar en una organizacion algo tan innovador como IA dentro de un flujo de Analisis, el negocio y/o gerencia de tecnologia tiene que entender que es lo que va a mejorar dentro del ciclo de vida de desarrollo y luego eso como se alinea a la estrategia del equipo de QA en caso de que exista para que añada valor a todos por igual segun el contexto.

La pregunta que me hicieron los ultimos meses es: _¿cuanto tiempo se gana por cada pedido cuando se analiza con IA? _

La respuesta mas rapida que viene ahi es que depende del contexto porque en la mayoria de los casos el analisis no es una tarea repetitiva medible por un inicio y fin tradicional y no es medible numericamente siendo objetivamente claros en una herramienta de gestion de requisitos o herramienta de plan de pruebas.

El problema de la respuesta de depende del contexto es que no responde la pregunta de que se gana a corto plazo por ende no existe un KPI medible.

*2- Infraestructura *

El uso de IA tiene un costo por uso a diferencia de un desarrollo desplegado on-premise en un servidor interno de QA o una nube de la empresa.

Lo positivo es que uno en el desarrollo del microservicio que recomende tecnicamente podes elegir el LLM que vos quieras, tengas a predisposicion pero el LLM es un factor importante en la calidad de los analisis, si usas modelos on-premise implica menores costos en terminos de pagos a proveedores o servicios externos pero implica mayores costos a nivel de infraestructura.

Si es para un uso propio creo que con una cuenta propia en una herramienta como Gemini, Chat GPT a llegar ser suficiente para resolver, pero teniendo en cuenta que existe un limite de tokens para algunos modelos existentes por mas que uno pague de manera personal tiene un limite asignado y no les recomiendo usar su apikey en su empresa para todo un equipo.

Bajo el capó de cada aplicación de IA hay algoritmos que procesan datos en su propio lenguaje, basado en un vocabulario de tokens.

Los tokens son pequeñas unidades de datos que se obtienen al desglosar fragmentos de información más grandes. Los modelos de IA procesan los tokens para aprender las relaciones entre ellos y desbloquear capacidades como la predicción, la generación y el razonamiento. Cuanto más rápido se puedan procesar los tokens, más rápido podrán aprender y responder los modelos.

Recomendacion , si la empresa esta decidida en implementar IA debe de tener claro desde el principio los recursos disponibles y lo que tendra que incurrir para que las automatizaciones no sean un maquillaje con IA por moda y realmente se usen modelos que añadan valor.

Y vos como experto en QA en tu organizacion tenes que definir objetivos medibles y no prometer o vender objetivos que sean imposibles de lograr antes de implementar IA en el proceso de control de calidad ya que sin importar que tan innovador sea el proyecto, si las expectativas irreales el proyecto va a fracasar.

Top comments (0)