La IA no necesita memorizar documentos extensos en su totalidad

Cuando se pide a una IA que analice documentos extensos o resuelva problemas complejos en varias etapas, ¿el modelo debe recordar con exactitud todo el contenido de la conversación de principio a fin? Según los resultados de un experimento publicado en noviembre de 2026 por el equipo de investigación de NVIDIA (Peter Belcak y otros 12 autores), los modelos de IA más recientes pueden mantener casi intacta la precisión de las tareas incluso si resumen y comprimen el contenido de la conversación periódicamente. Incluso se ha observado que, independientemente de que el documento de entrada sea largo o corto, no existe una diferencia significativa en el número real de tokens consumidos durante la interacción con la IA. ¹, ²

Esta investigación sugiere que ampliar indefinidamente la 'ventana de contexto' (la cantidad de información que el modelo puede referenciar a la vez) no es necesariamente la mejor solución, sino que puede derivar en un incremento de costes innecesarios. En particular, en los modelos open-weight de nivel frontera (modelos de alto rendimiento cuyos pesos son públicos), el coste de generar los tokens situados en la parte final del historial de conversación puede ser hasta 7 veces superior al de la parte inicial, lo que otorga gran importancia a una gestión eficiente del contexto. ²

La estructura que encarece las conversaciones largas y la brecha de costes

Durante la interacción con una IA, el texto que nosotros introducimos o que el modelo genera se procesa en unidades llamadas 'tokens'. La IA construye sus respuestas añadiendo tokens uno a uno; los investigadores descubrieron que, a medida que el historial de la conversación se alarga, el coste computacional para generar los tokens situados al final aumenta drásticamente. ²

En el caso de los modelos open-weight de nivel frontera, la diferencia en el coste de generación entre los tokens iniciales y los finales de la conversación puede llegar hasta 7 veces. ² Esto significa que mantener acumulado todo el contenido de la conversación sin comprimirlo puede resultar muy ineficiente en términos de recursos computacionales. En particular, al realizar tareas como el análisis de documentos que superan cientos de miles de palabras o el desarrollo de software en decenas de etapas, se vuelve necesaria una estrategia de gestión del contexto para abordar los problemas de coste y velocidad.

Tres estrategias de gestión del contexto y resultados del experimento

El equipo de investigación de NVIDIA propuso y comparó experimentalmente tres estrategias para verificar las diferencias de rendimiento según el método de gestión del contexto. Según informes de la comunidad y el correspondiente paper, estas son las tres opciones siguientes. ¹

1. Acumulación sin compresión (FHA): Se sigue acumulando todo el historial sin borrar ni resumir el contenido de la conversación.
2. Compresión periódica (EoCC): En intervalos específicos, se resume toda la conversación y se inicia una nueva sesión basada en dicho resumen. Es uno de los métodos más adoptados en la actualidad.
3. Actualización del estado semántico (SAC): En lugar de almacenar la conversación completa, se actualiza únicamente el progreso esencial acumulado hasta el momento (el estado semántico), ejecutando acciones paso a paso; es una forma extrema de compresión.

Los resultados del experimento mostraron que, en los modelos frontier más recientes, excepto en el benchmark 'FRAMES', comprimir periódicamente el contenido (método 2) no producía grandes pérdidas de precisión en las tareas. En algunos modelos, como Claude Opus 4.5, el rendimiento incluso mejoró tras aplicar la compresión. ¹ Cabe destacar especialmente la relación entre la longitud de los datos de entrada y el coste real de la conversación: el número de tokens utilizados durante la interacción fue prácticamente similar, independientemente de que el documento de entrada fuese largo o corto. ¹ La investigación interpreta que el hecho de que la entrada sea larga no implica necesariamente la necesidad de un contexto extenso, y concluye que es más eficiente mantener el contexto breve, diferenciando entre la información siempre necesaria y aquella que puede consultarse cuando resulte pertinente.

'Qué conservar', el factor que determina el éxito o fracaso de las estrategias de compresión

Dicha eficiencia no se aplica de manera uniforme a todos los modelos. Los investigadores probaron modelos open-weight pequeños en un entorno local con 109 GB de memoria asignada. ¹ Los resultados indicaron que modelos como Qwen 3.6 27B y MiniMax M2.7 funcionaron de forma estable incluso con la compresión periódica. ¹ Sin embargo, se observó que el modelo Qwen 3 Coder Next sufría un descenso drástico del rendimiento, pasando de 53 a 3,6 puntos durante el proceso de compresión. ¹

Los investigadores señalaron que la posible causa de esta pérdida de rendimiento podría residir en no haber conservado suficiente información esencial y útil durante la compresión de contenido inferencial extenso. ¹ En definitiva, la cuestión clave no es simplemente decidir si comprimir o no, sino que el mecanismo que determina 'qué conservar y qué eliminar' durante el proceso de compresión está estrechamente relacionado con la capacidad de resumen inherente al modelo. Este es un punto importante a considerar al manejar documentos extensos en entornos locales.

La propuesta SSSM y la respuesta a nivel de hardware desde la industria

Basándose en estos hallazgos, el equipo de investigación de NVIDIA propuso el concepto de 'Modelo de Espacio de Estados Semánticos (SSSM, Semantic State Space Model)'. Se trata de un método que enseña a un bucle en el que se introduce una descripción del estado actual en lenguaje natural para ejecutar una acción y, a continuación, actualizar únicamente el estado significativo incorporando el resultado. ¹, ² Aunque este enfoque aún se encuentra en fase de propuesta, abre nuevas vías para la gestión de contextos extensos.

Paralelamente, la industria está rediseñando la capa de hardware para eliminar el cuello de botella de memoria generado por las conversaciones prolongadas. Según la investigación de TrendForce, en enero de 2026 NVIDIA presentó la plataforma de almacenamiento dedicada 'CMX', diseñada para ampliar la jerarquía de memoria entre unidades SSD locales y almacenamiento compartido, dando respuesta a la enorme demanda de almacenamiento de caché KV en la inferencia de IA. ³ Esto pone de manifiesto la construcción de infraestructura física para gestionar eficientemente la demanda creciente de caché clave-valor durante el proceso de inferencia de IA. ³

Mientras la industria incrementa la capacidad de hardware para asumir los costes, esta investigación ha demostrado empíricamente la eficiencia del enfoque de 'consultar cuando sea necesario' desde la perspectiva del software. La conclusión del experimento es que, salvo en el benchmark FRAMES, los modelos frontier no necesitan recordar íntegramente los documentos extensos al interactuar con la IA, y que las estrategias de compresión periódica y extrema permiten reducir notablemente la longitud del contexto sin apenas pérdida de precisión en las tareas. No obstante, como muestran las pruebas con modelos locales de menor tamaño, los modelos cuya capacidad de resumen resulta insuficiente pueden experimentar grandes fluctuaciones de rendimiento durante la compresión, y la investigación añade que mantener contextos más breves puede resultar realmente útil incluso en ausencia de un aprendizaje explícito de compresión durante el proceso de entrenamiento.