¿Un chatbot de IA inventa respuestas si no sabe algo?
Respuesta corta
Sí, puede inventarlas, y a eso se le llama alucinación: el modelo escribe una respuesta que suena creíble porque está hecho para producir texto verosímil, no para reconocer que le falta un dato. Ningún sistema acierta siempre, así que lo que importa es cómo falla. Decir «no lo sé, te paso con una persona» es aceptable; inventarse una cifra de facturación, no.
En detalle
Por qué pasa
Un modelo de lenguaje no distingue entre lo que sabe y lo que está completando. Si le preguntas por una función que no existe y no tiene nada escrito sobre ella, lo más probable es que describa una función razonable. No miente: hace lo que hace siempre, escribir el texto más probable.
Qué lo reduce
Que la respuesta salga de tus fuentes y no de la memoria del modelo, que tenga instrucciones sobre qué hacer cuando falta un dato y que esté documentado lo que tu producto no hace. Esto último casi nadie lo escribe, y es lo que más alucinaciones evita: un artículo que dice «no se puede exportar en XML» cierra esa puerta.
La prueba antes de contratar
Pregúntale por una función que tu producto no tiene y mira qué contesta. Un sistema bien montado dice que no existe o que lo confirma con alguien. Uno mal montado te describe la función con todo detalle, y eso mismo es lo que le hará a un cliente.
Lo que no basta
Pedirlo en las instrucciones y quedarse ahí. «No inventes precios» es una petición, y un modelo puede saltársela en una conversación lo bastante rara. El límite tiene que estar en el sistema: el dato sale de una consulta a tus sistemas o no sale.
Términos que aparecen aquí
Preguntas relacionadas
¿Puede un agente de IA actuar sin que yo lo revise?
Sí, y hasta dónde lo decides tú. Lo razonable es separar por lo que se puede deshacer: lo que solo consulta datos no cambia nada y puede ir solo; lo que cambia algo recuperable puede ir solo si queda registrado; y lo que no tiene vuelta atrás, como cancelar, borrar o reembolsar, debería confirmarlo una persona, porque si el agente se equivoca ahí nadie lo verá a tiempo.
¿Puedo ver qué acciones ha ejecutado un agente de IA?
Sí, y deberías poder hacerlo: si un proveedor no te lo enseña, es motivo para descartarlo. Cada acción del agente tiene que quedar registrada con qué hizo, en qué cuenta, cuándo y en qué conversación. Sin ese registro no puedes revisar un error, no puedes contestar a un cliente que reclama y no pasarás el cuestionario de seguridad de un cliente mediano.
¿Puede un agente de IA cambiar el plan de un cliente?
Sí, si le das esa acción, aunque no siempre conviene. Subir de plan se puede deshacer y hay empresas que lo dejan automático. Bajar de plan o cancelar mueve dinero y no se deshace solo, así que lo razonable es que el agente lo deje preparado y una persona lo confirme.
De dónde sale esta pregunta
Chatbots con IA →