Alucinación
Una alucinación es una respuesta de un modelo de lenguaje que suena correcta y no lo es: un dato inventado, una función que no existe, una cifra plausible que nadie ha comprobado. No es un fallo del sistema, es consecuencia directa de cómo funciona un modelo, que produce la continuación más probable y no la verificada.
¿Qué es alucinación?
Una alucinación es una respuesta de un modelo de lenguaje que suena correcta y no lo es: un dato inventado, una función que no existe, una cifra plausible que nadie ha comprobado. No es un fallo del sistema, es consecuencia directa de cómo funciona un modelo, que produce la continuación más probable y no la verificada.
También: hallucination · invención
No es un error puntual que se arregle
Se habla de las alucinaciones como de un defecto que la próxima versión resolverá. La capacidad de producir texto plausible y la de inventar son la misma, así que lo que se puede hacer no es eliminarlas sino acorralarlas: limitar de dónde saca el sistema los datos y hacer que reconozca cuándo no los tiene.
Por qué importa
Qué cambia en un SaaS
En soporte, una alucinación no es una curiosidad: es un cliente que actúa según algo falso. Si el sistema le dice que su plan incluye algo que no incluye, o le da una fecha de reembolso inventada, el coste no es el ticket sino la reclamación posterior y la confianza perdida.
Alucinación en detalle
Cómo se reducen
Obligando al sistema a responder solo con los fragmentos recuperados de tu documentación y con los datos consultados en tus sistemas, en vez de con lo que el modelo cree recordar. Es la razón de ser de RAG.
La respuesta correcta cuando no se sabe
«No tengo ese dato, te paso con alguien del equipo.» Un sistema que dice eso es más útil que uno que acierta el 95 % de las veces y el otro 5 % inventa con la misma seguridad, porque el segundo obliga a comprobarlo todo.
Dónde son más peligrosas
En cifras y en condiciones: precios, plazos, límites, coberturas. Son las respuestas que el cliente usa para decidir y las que más fácilmente suenan plausibles siendo falsas. Conviene que esas vengan siempre de una consulta al sistema y nunca de la memoria del modelo.
Cómo lo resuelve Intake
Preguntas sobre alucinación
¿Se pueden eliminar las alucinaciones?
Eliminarlas del todo, no: son consecuencia de cómo funciona un modelo de lenguaje. Se acorralan limitando de dónde saca los datos y diseñando el sistema para que reconozca cuándo no los tiene.
¿Por qué un modelo inventa con tanta seguridad?
Porque produce la continuación más plausible del texto, y una frase falsa bien construida es tan plausible como una verdadera. El modelo no distingue entre las dos: esa distinción tiene que venir de fuera.
¿Cómo sé si mi sistema de soporte alucina?
Revisando una muestra de respuestas cerradas automáticamente y comprobando los datos concretos que da: cifras, plazos y condiciones. Es un trabajo aburrido de una tarde que conviene repetir cada cierto tiempo.
Términos relacionados
Un término suelto se entiende a medias. Estos son los que aparecen en la misma conversación.
LLM — Modelo de lenguaje
Un modelo de lenguaje es un sistema entrenado con enormes cantidades de texto que, dado un fragmento, predice cómo continúa. De esa capacidad tan simple salen la redacción, el resumen, la traducción y la conversación: todas son formas de continuar un texto de manera plausible.
RAG — Generación aumentada por recuperación
La generación aumentada por recuperación, o RAG, es la técnica de buscar información relevante en una fuente propia y pasársela al modelo de lenguaje para que redacte la respuesta con ella. El modelo no memoriza el contenido: lo consulta en el momento de responder.
Agente de IA
Un agente de IA es un sistema que, además de generar texto, consulta datos y ejecuta acciones para completar una tarea. En soporte significa que antes de responder mira cómo está la cuenta de verdad del cliente, y que cuando la respuesta implica hacer algo, lo hace en vez de explicar cómo se hace.
Chatbot
Un chatbot es un programa que mantiene una conversación por escrito con un usuario. En soporte, los actuales indexan la documentación de la empresa y responden con lo que encuentran en ella; los anteriores seguían árboles de decisión escritos a mano.
Embedding
Un embedding es la representación de un texto como una lista de números que codifica su significado. Dos textos que quieren decir lo mismo con palabras distintas producen listas parecidas, y esa cercanía numérica es lo que permite buscar por significado en vez de por coincidencia exacta.
Llamada a herramientas
La llamada a herramientas es el mecanismo por el que un modelo de lenguaje puede ejecutar funciones definidas por ti en vez de limitarse a escribir. Se le describen las herramientas disponibles, el modelo decide cuál usar y con qué parámetros, y recibe el resultado para incorporarlo a su respuesta.
