LLM — Modelo de lenguaje
Un modelo de lenguaje es un sistema entrenado con enormes cantidades de texto que, dado un fragmento, predice cómo continúa. De esa capacidad tan simple salen la redacción, el resumen, la traducción y la conversación: todas son formas de continuar un texto de manera plausible.
¿Qué es modelo de lenguaje?
Un modelo de lenguaje es un sistema entrenado con enormes cantidades de texto que, dado un fragmento, predice cómo continúa. De esa capacidad tan simple salen la redacción, el resumen, la traducción y la conversación: todas son formas de continuar un texto de manera plausible.
También: LLM · modelo grande de lenguaje
Predecir texto no es saber
Un modelo no consulta una base de datos ni comprueba nada: produce la continuación más plausible. Eso explica a la vez por qué escribe tan bien y por qué se inventa cosas con total seguridad. Las dos características son la misma, y ninguna cantidad de entrenamiento las separa.
Por qué importa
Qué cambia en un SaaS
Es la pieza que redacta, y casi nunca es donde está el problema. Cuando un sistema de soporte con IA responde mal, la causa suele estar en qué información se le pasó, no en el modelo que la redactó. Cambiar de modelo es la primera reacción y rara vez la solución.
Modelo de lenguaje en detalle
Ventana de contexto
Es cuánto texto puede tener delante a la vez: la pregunta, el histórico de la conversación y los documentos recuperados. Cuando se llena, hay que elegir qué entra, y esa elección afecta a la respuesta más que la marca del modelo.
Temperatura
Un ajuste que controla cuánto se aparta de la continuación más probable. Alta produce texto más variado; baja, más predecible. En soporte interesa baja: nadie quiere creatividad en la respuesta sobre una factura.
Dónde se ejecuta importa
Si las conversaciones de tus clientes pasan por un modelo alojado fuera de la Unión Europea, eso tiene consecuencias de protección de datos que hay que poder explicar. Es una pregunta que conviene hacer a cualquier proveedor antes de firmar.
Cómo lo resuelve Intake
Preguntas sobre modelo de lenguaje
¿Qué significa LLM?
Large Language Model, modelo grande de lenguaje. «Grande» se refiere al tamaño del modelo y de los datos con los que se entrenó.
¿Un modelo de lenguaje aprende de mis conversaciones?
No por defecto, y depende del proveedor. Usar tus conversaciones para entrenar es una decisión contractual: conviene comprobar qué dice el contrato y no dar por hecho ninguna de las dos respuestas.
¿Cuál es el mejor modelo para soporte?
La pregunta suele estar mal planteada. Con la misma información delante, los modelos actuales redactan de forma parecida; lo que cambia el resultado es qué información se les pasa y qué herramientas pueden usar.
Términos relacionados
Un término suelto se entiende a medias. Estos son los que aparecen en la misma conversación.
RAG — Generación aumentada por recuperación
La generación aumentada por recuperación, o RAG, es la técnica de buscar información relevante en una fuente propia y pasársela al modelo de lenguaje para que redacte la respuesta con ella. El modelo no memoriza el contenido: lo consulta en el momento de responder.
Alucinación
Una alucinación es una respuesta de un modelo de lenguaje que suena correcta y no lo es: un dato inventado, una función que no existe, una cifra plausible que nadie ha comprobado. No es un fallo del sistema, es consecuencia directa de cómo funciona un modelo, que produce la continuación más probable y no la verificada.
Embedding
Un embedding es la representación de un texto como una lista de números que codifica su significado. Dos textos que quieren decir lo mismo con palabras distintas producen listas parecidas, y esa cercanía numérica es lo que permite buscar por significado en vez de por coincidencia exacta.
Agente de IA
Un agente de IA es un sistema que, además de generar texto, consulta datos y ejecuta acciones para completar una tarea. En soporte significa que antes de responder mira cómo está la cuenta de verdad del cliente, y que cuando la respuesta implica hacer algo, lo hace en vez de explicar cómo se hace.
Llamada a herramientas
La llamada a herramientas es el mecanismo por el que un modelo de lenguaje puede ejecutar funciones definidas por ti en vez de limitarse a escribir. Se le describen las herramientas disponibles, el modelo decide cuál usar y con qué parámetros, y recibe el resultado para incorporarlo a su respuesta.
Chatbot
Un chatbot es un programa que mantiene una conversación por escrito con un usuario. En soporte, los actuales indexan la documentación de la empresa y responden con lo que encuentran en ella; los anteriores seguían árboles de decisión escritos a mano.
