¿Un chatbot de IA inventa respuestas si no sabe algo?
Puede, y a eso se le llama alucinación: el modelo construye una respuesta que suena plausible porque su trabajo es producir texto verosímil, no reconocer que no tiene el dato. Lo que separa un sistema útil de uno peligroso no es que no falle nunca, es cómo falla: decir «no lo sé, te paso con una persona» es aceptable; inventarse una cifra de facturación, no.
Respuesta corta
Puede, y a eso se le llama alucinación: el modelo construye una respuesta que suena plausible porque su trabajo es producir texto verosímil, no reconocer que no tiene el dato. Lo que separa un sistema útil de uno peligroso no es que no falle nunca, es cómo falla: decir «no lo sé, te paso con una persona» es aceptable; inventarse una cifra de facturación, no.
En detalle
Por qué pasa
Un modelo de lenguaje no distingue entre lo que sabe y lo que está completando. Si le preguntas por una función que no existe y no tiene nada escrito al respecto, la salida más probable estadísticamente es una descripción razonable de esa función. No está mintiendo: está haciendo exactamente aquello para lo que sirve.
Lo que de verdad lo reduce
Que la respuesta salga de tus fuentes y no de la memoria del modelo, que se le den instrucciones sobre qué hacer cuando falta un dato, y que se documente explícitamente lo que **no** se puede hacer. Ese último punto es el que nadie escribe y el que más alucinaciones evita: un artículo que dice «no se puede exportar en XML» cierra esa puerta.
La prueba antes de firmar
Preguntarle por una función que no existe en tu producto y ver qué contesta. Un sistema bien montado dice que no lo tiene o que lo confirma con alguien. Uno mal montado te describe la función con detalle, y eso es exactamente lo que le va a hacer a un cliente.
Lo que no lo arregla
Pedirlo en las instrucciones y quedarse ahí. «No inventes precios» es una petición, y un modelo puede ignorarla ante una conversación lo bastante rara. El límite de verdad está en el sistema: que el dato salga de una consulta real o no salga.
Términos que aparecen aquí
Otras preguntas del mismo hilo
¿Puede un agente de IA actuar sin que yo lo revise?
Puede, y la decisión de hasta dónde es tuya, no del proveedor. Lo razonable es separar por reversibilidad: lo que solo lee no rompe nada y puede ir solo; lo que escribe algo recuperable puede ir solo con registro; y lo irreversible —cancelar, borrar, reembolsar— debería pasar por una persona, no porque el agente se equivoque más, sino porque cuando se equivoque no habrá nadie que se dé cuenta a tiempo.
¿Puedo ver qué acciones ha ejecutado un agente de IA?
Deberías, y si un proveedor no te lo enseña es motivo suficiente para descartarlo. Cada acción que ejecuta un agente tiene que quedar registrada con qué hizo, sobre qué cuenta, cuándo y a raíz de qué conversación. Sin ese registro no puedes auditar un error, no puedes responder a un cliente que reclama y no puedes pasar el cuestionario de seguridad de ningún cliente mediano.
¿Puede un agente de IA cambiar el plan de un cliente?
Técnicamente sí, si le das esa herramienta. La pregunta útil es otra: si conviene. Un cambio de plan al alza es recuperable y hay quien lo deja automatizado; uno a la baja o una cancelación toca dinero y no se deshace solo, así que lo razonable es que el agente lo prepare y una persona lo confirme.
De dónde sale esta pregunta
Chatbots con IA →