Los modelos pueden leer mucho texto, pero no recuerdan por sí solos. Si quieres que un sistema mantenga el hilo entre llamadas o sesiones, tienes que diseñar la memoria.
Contexto no es memoria
El contexto es lo que el modelo ve en una llamada concreta. La memoria es lo que el sistema guarda fuera del modelo y vuelve a meter en el contexto cuando hace falta. Un modelo con una ventana enorme puede leer un contrato entero, pero si no guardas nada, en la siguiente llamada habrá olvidado todo.
Esto importa porque muchas empresas piden «que la IA se acuerde del cliente». Lo que necesitan es un sistema que sepa qué información del cliente es relevante, dónde está y cuándo se puede usar, no un modelo con más contexto.
Memoria de conversación
La forma más básica de memoria es la conversación. El sistema guarda los mensajes anteriores y los envía al modelo en cada turno. Funciona en una llamada corta, pero se vuelve caro y ruidoso cuando la conversación crece. Llega un punto en el que el historial ocupa más que la pregunta.
La solución habitual es resumir. Se guarda un resumen de lo importante y se descartan los detalles. El resumen tiene que conservar lo que cambia la decisión: qué quiere el cliente, qué se ha probado, qué falta y qué límites hay. Un resumen que solo dice «el cliente preguntó por su pedido» no sirve.
Memoria de usuario
La memoria de largo plazo guarda información entre sesiones: preferencias, historial, incidencias abiertas, datos de la cuenta. Es útil para no preguntar lo mismo dos veces. También es peligrosa: una preferencia antigua puede ser incorrecta, y un dato personal puede estar fuera de contexto.
La memoria necesita una política de escritura. Qué se guarda, durante cuánto tiempo, con qué permiso y cómo se corrige. No todo lo que se dice debe quedarse. Y lo que se guarda tiene que poder borrarse cuando la persona lo pida.
Recuperar, no recordar todo
Una alternativa al historial completo es recuperar solo lo relevante. Guardas los hechos y los episodios en una base de datos, y en cada conversación buscas lo que tiene que ver con la pregunta. Es más barato y más preciso, pero depende de que la recuperación sea buena.
La recuperación puede ser por palabras clave, por similitud o por reglas. Un cliente que llama por una incidencia abierta necesita que el sistema recupere esa incidencia, no una conversación de hace seis meses. La memoria útil es la que cambia la respuesta de hoy.
Lo que no debe recordar
Hay datos que no deberían quedarse: contraseñas, datos de tarjeta, información médica sin base legal, opiniones sobre personas, conversaciones fuera del alcance. La memoria no es una excusa para acumular. Cuanto más guardas, más superficie de riesgo tienes.
También hay que evitar la memoria inventada. Si el modelo resume y añade un dato que no estaba, ese dato puede acabar en la siguiente conversación como si fuera verdad. La memoria tiene que estar separada de la generación y ser verificable.
Cómo evaluarlo
Evalúa si el sistema recupera el dato correcto, si lo usa bien y si evita el dato incorrecto. Prueba con conversaciones largas, con cambios de tema, con información contradictoria y con peticiones de olvido. Prueba con conversaciones largas, cambios de tema y peticiones de olvido.
Mide también el coste. Un historial completo en cada llamada puede multiplicar los tokens. Una memoria mal diseñada puede parecer barata y salir carísima cuando el volumen crece.
El cliente que llama dos veces
Un cliente llama el lunes por un problema con una reserva. El sistema no puede resolverlo y deriva. El miércoles vuelve a llamar. Si la memoria guarda toda la transcripción, el modelo recibe una conversación larga y llena de ruido. Si guarda un resumen con el caso abierto, el motivo de la derivación y lo que falta, la segunda llamada empieza con contexto útil.
La memoria tiene que servir para la siguiente acción, no para reconstruir toda la historia. Guarda el estado del caso, no cada palabra. Y actualiza ese estado cuando la persona que recibe la derivación hace algo. Una memoria que no se actualiza se convierte en una fuente de errores.
Sigue leyendo