Cada vez más gente arranca la búsqueda de un proveedor preguntándole a un modelo en vez de a un buscador. Y no pide diez opciones para comparar: pide una recomendación y recibe dos o tres nombres. Si tu empresa no está ahí, no quedaste octava. No estás en la respuesta.
La pregunta que sigue es obvia: cuánto tarda en cambiar eso. Pero antes hay un problema más aburrido y más importante, que es cómo se mide. Lo escribo porque es la parte que casi nunca se cuenta y es donde se rompen los informes.
Una captura de pantalla no es una medición
Es el error más común y el más difícil de discutir, porque la captura parece prueba.
La respuesta de una app conversacional depende del historial de la cuenta, de la sesión, del ruteo interno del proveedor, de si esa consulta activó búsqueda web o no, y de la región desde donde se pregunta. Dos personas preguntando lo mismo el mismo día reciben respuestas distintas. La misma persona preguntando dos veces también.
O sea: la salida no es determinista y el instrumento no es estable. Una captura te dice qué pasó una vez, en un contexto que no podés reconstruir. Como métrica de seguimiento no sirve para nada.
Lo que sí sirve es una serie: la misma consulta, literal, contra el mismo motor, con el mismo criterio de clasificación, repetida en el tiempo. El valor absoluto de un punto importa poco. Lo que importa es la diferencia entre puntos.
Fijar el texto de la consulta, no la etiqueta
Este es un bug de proceso que da resultados verosímiles y falsos.
Si guardás en la planilla una etiqueta como "consulta de chatbot" en vez del texto exacto que preguntaste, dentro de dos meses nadie se acuerda del wording. Y el wording cambia el resultado: preguntar "quién hace X en Argentina" y "mejores empresas de X en Argentina" devuelven listas distintas.
Cuando el texto se corre entre rondas, la serie deja de ser comparable, pero el gráfico sigue dibujándose igual de lindo. Guardá el string literal, versionado. Si tenés que cambiar una consulta, empezá una serie nueva en vez de contaminar la vieja.
Dos instrumentos que parecen uno
Preguntarle a un modelo con búsqueda web activada y preguntarle sin ella son dos mediciones distintas, y se contradicen entre sí. La misma consulta puede dar mención con uno y ausencia con el otro.
No es un error del modelo: son dos cosas diferentes. Uno te dice qué encuentra ahora; el otro, qué quedó incorporado. Mezclarlos en una misma serie produce oscilaciones que después se explican como "volatilidad del algoritmo" cuando en realidad es el instrumento cambiando de mano.
Cada punto de la serie tiene que registrar con qué se midió.
Tres estados, no un porcentaje
El otro lugar donde se maquillan los números es la clasificación. Conviene tener estados discretos:
- Ausente — no aparece.
- Mencionada — el modelo la nombra en el cuerpo de la respuesta, pero no cita el sitio. Sabe que existe; no está leyendo la fuente. Es un estado frágil: puede consolidarse o desaparecer en la ronda siguiente.
- Citada — el dominio aparece en el bloque de fuentes. Sostiene lo que el modelo dice y además manda tráfico.
Colapsar los tres en un único "índice de visibilidad" produce una mejora que en la práctica no siempre existe: pasar de ausente a mencionada infla el número sin que nada estructural haya cambiado.
Un detalle de implementación si automatizás la clasificación: buscar el nombre de la marca por substring da falsos positivos cuando la marca es corta o queda pegada a otra palabra, y falsos negativos con acentos y normalización Unicode. Vale la pena armar un set de casos borde antes de confiar en el clasificador.
Y ahora sí, cuánto tarda
Con esas condiciones, lo que se ve repetido:
Las consultas de marca —"qué es tal empresa"— se mueven primero. Las de categoría —"mejores empresas de tal cosa en tal país"— bastante después. Y las de intención de compra —"a quién le contrato tal cosa"— son las últimas, y son justo las que traen clientes.
Tiene sentido si pensás qué necesita el modelo en cada caso. Para contestar qué hace tu empresa alcanza con haber encontrado información confiable sobre vos. Para ponerte en una lista de tres tiene que compararte con todo tu rubro y decidir que merecés el lugar.
El primer movimiento suele aparecer cerca de la cuarta semana. Antes de eso el trabajo está hecho pero todavía no se ve, que no es lo mismo que no estar funcionando. Ahí es donde la mayoría cambia de estrategia, justo cuando la anterior estaba por dar resultado.
Lo que se aprende midiendo
Que el sitio propio puede no ser la fuente. Es perfectamente posible que el modelo describa a tu empresa con tu texto y cite un directorio de terceros en vez de tu dominio. La descripción viajó; la atribución no.
Y que el reconocimiento no implica pertenencia. Un modelo puede describirte bien cuando lo nombrás, y no incluirte cuando le preguntás por la categoría. Son dos preguntas distintas y hay que correr las dos.
Nada de esto se resuelve con un truco. Se resuelve midiendo en condiciones repetibles el tiempo suficiente como para saber qué mover.
Escribo sobre automatización con IA aplicada a empresas. La versión original de esta nota está en varka.tech.
Top comments (0)