Cuando pusimos IA a evaluar llamadas, el promedio dio 7,0 y todos felices.
Hasta que los supervisores empezaron a rechazar evaluaciones. No un par: seis de cada diez.
El sintoma que parece del modelo
El modelo puntuaba 7,0 y escribia un parrafo impecable para justificarlo. El problema es
justo ese: las justificaciones convincentes son el sintoma, no la causa. Cuando el
argumento suena bien, el supervisor deja de mirar y acepta el numero.
Entonces los rechazos no eran "el modelo se equivoca". Eran "el modelo se equivoca de una
forma que mi supervisor no comparte".
Donde estaba realmente el bug
Tardamos dos semanas en cambiar prompts. No mejoro nada. El bug estaba en la rubrica.
Teniamos un criterio que decia, mas o menos:
"El agente identifica correctamente el problema del cliente y ofrece una solucion
adecuada."
Ese criterio tenia dos cosas dentro:
- que el agente identifique el problema
- que ofrezca una solucion adecuada
El modelo cumplia la primera y no la segunda (en los casos donde identificaba el problema pero
ofrecia una solucion parcial). El supervisor evaluaba las dos juntas.
Resultado: el modelo resolvia "bien" una pregunta mal formulada. Y el 60% de los rechazos
venia de ahi.
El fix: partir el criterio y explicitar la excepcion
Criterio 1: El agente identifica el problema del cliente antes de responder.
- Evidencia: cita la frase donde el cliente describe el problema.
- Si el agente responde algo no solicitado, el criterio no se cumple.
Criterio 2: El agente ofrece una solucion concreta y completa para el problema identificado.
- Evidencia: cita la propuesta del agente.
- Excepcion explicita: si el cliente pide escalar o el agente transferiste, el criterio
no se cumple (no es una falla del agente).
La parte que mas costo fue la excepcion explicita. Sin ella, los casos de escalamiento
y transferencia contaban como fallas, y el modelo (correctamente) no ofrecia solucion porque
no correspondia.
Partirlo y explicitarlo: los rechazos bajaron a la mitad en una semana, sin tocar el
modelo ni el prompt.
Tres reglas que lo hacen auditable
Esto es lo que uso en el pipeline de produccion:
- Cada puntaje cita la frase exacta de la transcripcion. Sin cita, no hay punto. Sin eso, el error es invisible y el supervisor deja de verificar.
- Si hay evidencia en contra, el puntaje es bajo, aunque en otro momento de la conversacion haya estado bien. Si no, el modelo promedia, y promediar es lo que vuelve inutil un sistema de QA.
- La confianza es cuanto sostiene la evidencia el puntaje, no cuanto seguro se siente el modelo. Son cosas distintas, y confundirlas hace que el muestreo automatico descarte justamente los casos que importan.
El numero que casi nadie tiene
El promedio no sirve para nada. Un contact center puede tener 8 de calificacion y seguir
rompiendose en dos criterios concretos.
El numero que si sirve es cuanto se aleja tu IA de lo que evalua tu supervisor, en los
casos que si se revisaron. Ese numero te dice si tu sistema sirve, y te dice que criterio
definir mal.
Lo que me llevo de esto
La mayor parte del trabajo no es de IA. Es de escribir bien lo que queres que pase. La IA
solo te muestra, en 400 conversaciones, donde tu definicion de "bien" no cierra.
Arme un kit con el prompt del juez (con el porque de cada regla), una guia de rubrica con
12 criterios copiables de operaciones de soporte y cobranzas reales, la API en FastAPI y la
UI de revision. Es codigo abierto (MIT) y corre en Docker:
Kit QA con IA (US$79): https://kit-qa-con-ia.surge.sh/
Si estas evaluando calidad con IA y tu modelo "se equivoca", empezaria por la rubrica, no
por el prompt. De hecho, es al reves: el prompt es lo facil.
Este articulo es parte de una serie sobre evaluacion de calidad con IA en contact centers.
Si te sirve, el kit incluye la rubrica completa con los 12 criterios y sus excepciones ya
escritas.
Top comments (0)