Marcelo Alberto Futerman explica por qué un asistente de inteligencia artificial a veces da información falsa con tono firme, qué señales conviene mirar y cómo comprobar una respuesta antes de usarla.
Un texto bien redactado da sensación de verdad. Tiene buena ortografía, está ordenado en puntos y no duda. Pero la forma no dice nada sobre si lo que afirma es correcto, y con los asistentes de IA esa diferencia pesa mucho.
Por qué una IA puede inventar
Un modelo de lenguaje aprende, a partir de enormes volúmenes de texto, qué palabras suelen aparecer después de otras. Cuando le hacemos una pregunta, no consulta un archivo de hechos comprobados: va armando la respuesta de a poco, eligiendo en cada paso lo que resulta más probable según lo que aprendió.
La mayoría de las veces eso produce información correcta, porque lo correcto aparece muchas veces en los textos. Pero cuando el tema es poco común, muy reciente o muy específico, el modelo puede rellenar el hueco con algo que suena razonable y no existe: una fecha, el artículo de una ley, el título de un libro, una frase atribuida a alguien. A ese error se lo suele llamar "alucinación". No es una mentira intencional; es una consecuencia de cómo funciona la herramienta.
Algunos asistentes buscan en la web antes de contestar y muestran enlaces. Eso ayuda, pero no elimina el problema: el resumen puede afirmar algo que la página citada no afirma.
Señales de alerta
- Precisión sin respaldo. Un porcentaje con decimales, una fecha exacta o un monto, sin ninguna fuente.
- Referencias imposibles de encontrar. Libros, estudios, normas o personas que no figuran en ningún otro lado.
- Citas textuales. Una frase entre comillas atribuida a alguien está entre lo que más fácil se inventa.
- Temas recientes. Lo que pasó hace poco puede no estar en lo que el modelo aprendió.
- Respuestas que cambian. Si se repite la pregunta y el dato cambia, ninguna de las versiones es confiable todavía.
- Coincidencia demasiado perfecta. Cuando la respuesta confirma justo lo que uno esperaba, vale la pena mirarla con más cuidado.
Cómo chequear
1. Ir a la fuente primaria
Para una norma, el texto oficial. Para una cifra, el organismo o la empresa que la publica. Para una cita, la entrevista o el documento original. El resumen de un resumen no alcanza.
2. Pedir de dónde sale
Preguntarle al asistente en qué se basa y pedirle los enlaces. Después abrirlos: comprobar que existan, que sean de un sitio serio y que su contenido coincida con lo respondido. Cuando no logra dar una fuente concreta, el dato queda en duda.
3. Contrastar
Buscar el mismo dato en dos o tres lugares independientes entre sí. Si solo aparece en la respuesta de la IA, no se usa.
4. Tratar los números aparte
Revisar que las cuentas cierren, que las unidades sean las correctas y que la fecha del dato tenga sentido. Si el asistente hizo un cálculo, rehacerlo con una calculadora o una planilla.
5. Preguntar lo contrario
Pedirle que explique por qué su respuesta podría estar equivocada, o qué dicen quienes piensan distinto. A veces aparecen matices que la primera versión dejaba afuera.
Cuánto revisar
No todo necesita el mismo control. Si le pedimos ideas para el título de una presentación, alcanza con leerlas. Si el dato va a un informe, a un cliente, a una decisión o a una publicación, se verifica siempre. Una regla práctica: cuanto más grave sería el error, más fuentes hace falta mirar.
Checklist
- [ ] ¿Cada número tiene una fuente que abrí y leí?
- [ ] ¿Las citas aparecen en el documento original?
- [ ] ¿Los enlaces existen y dicen lo mismo que la respuesta?
- [ ] ¿Encontré el dato en al menos dos lugares independientes?
- [ ] ¿Es información reciente que conviene confirmar?
- [ ] ¿Rehice los cálculos?
Usada así, la IA sigue ahorrando tiempo: ayuda a entender un tema y a saber qué buscar. La palabra final la tiene la fuente.
Si quieren entender desde cero cómo funciona la inteligencia artificial en las organizaciones, lo desarrollé en este artículo.
— Marcelo Futerman
Top comments (0)