Guardarraíles
¿Qué son los guardarraíles?
Los guardarraíles son las restricciones que impiden a un sistema de IA hacer o decir determinadas cosas: de qué fuentes puede sacar los datos, qué acciones puede ejecutar, qué temas no toca y qué requiere confirmación de una persona. Se aplican fuera del modelo, sin depender de que obedezca.
También: guardrails · límites de seguridad
Pedirlo en el prompt no es un guardarraíl
Escribir «no canceles suscripciones» en las instrucciones es una petición, y un modelo puede ignorarla ante una conversación lo bastante rara. El guardarraíl es que la herramienta de cancelar no esté disponible, o que exija una confirmación humana. Lo primero es una intención; lo segundo, un límite.
Por qué importa
Qué supone para un SaaS
Porque un agente conectado a tu API puede hacer cosas con consecuencias, y la diferencia entre un incidente y un susto está en si el límite estaba en el código o en una frase. Es también lo primero que pregunta el equipo de seguridad de cualquier cliente mediano.
Guardarraíles en detalle
Los tres niveles
Qué puede leer, qué puede escribir y qué puede decir. El primero se controla con permisos, el segundo con qué herramientas se exponen y una confirmación en lo irreversible, y el tercero revisando salidas.
Separar leer de escribir
Es la línea que más rinde. Consultar un plan no rompe nada; cambiarlo sí. Empezar exponiendo solo lecturas resuelve buena parte de las conversaciones sin ningún riesgo, y deja las escrituras para cuando haya confianza.
Lo irreversible, con persona
Cancelar, borrar, reembolsar. Aunque el agente no se equivoque más que una persona, cuando lo haga no habrá nadie mirando para darse cuenta a tiempo.
Cómo lo resuelve Intake
Preguntas frecuentes
¿Los guardarraíles se ponen en el prompt?
Ahí van las instrucciones, que ayudan. El guardarraíl se pone en el sistema: si una acción no debe ocurrir, la herramienta no se expone o exige confirmación. Confiar en que el modelo obedezca no es un límite.
¿Qué acciones conviene dejar siempre con confirmación?
Las irreversibles y las que tocan dinero: cancelaciones, borrados, reembolsos y cambios de plan a la baja.
Términos relacionados
Estos son los términos que suelen salir en la misma conversación.
Llamada a herramientas
La llamada a herramientas es el mecanismo por el que un modelo de lenguaje puede ejecutar funciones definidas por ti en vez de limitarse a escribir. Se le describen las herramientas disponibles, el modelo decide cuál usar y con qué parámetros, y recibe el resultado para incorporarlo a su respuesta.
Prompt de sistema
El prompt de sistema son las instrucciones fijas que recibe un modelo antes de cada conversación: quién es, qué puede y qué no puede hacer, con qué tono responde y qué hacer cuando no sabe algo. No lo ve el usuario y se manda en todas las peticiones.
Agente de IA
Un agente de IA es un sistema que, además de generar texto, consulta datos y ejecuta acciones para completar una tarea. En soporte significa que antes de responder mira el estado de la cuenta del cliente y, cuando la respuesta implica hacer algo, lo hace en vez de explicar cómo se hace.
Evals — Evaluación
Una evaluación es un conjunto de casos de prueba con los que se comprueba, de forma repetible, si un sistema de IA responde como debe. Cada caso lleva una entrada y un criterio de acierto, y se vuelven a pasar todos cada vez que cambia algo: el prompt, el modelo o la documentación.
Alucinación
Una alucinación es una respuesta de un modelo de lenguaje que suena correcta y no lo es: un dato inventado, una función que no existe, una cifra plausible que nadie ha comprobado. Es una consecuencia directa de cómo funciona un modelo, que produce la continuación más probable y no la verificada.
Ventana de contexto
La ventana de contexto es todo lo que un modelo de lenguaje puede tener delante a la vez para producir una respuesta: la instrucción del sistema, el historial de la conversación, los fragmentos recuperados de la documentación y los datos consultados. Se mide en tokens y tiene un tope.
