AI가 두꺼운 문서를 통째로 외울 필요는 없다

AI에게 두꺼운 문서를 분석시키거나 복잡한 문제를 여러 단계에 걸쳐 해결하게 할 때, 모델은 처음부터 끝까지 모든 대화 내용을 정확히 기억해야 할까요? NVIDIA 연구진(Peter Belcak 등 12명)이 2026년 11월 공개한 실험 결과에 따르면, 최신 AI 모델은 대화 내용을 수시로 요약하고 압축해도 작업 정확도를 거의 유지할 수 있습니다. 심지어 입력 문서가 길든 짧든, AI와 대화하는 데 실제로 소모되는 토큰 수에는 큰 차이가 없는 것으로 나타났습니다. ¹, ²

이번 연구는 '컨텍스트 윈도우(모델이 한 번에 참조할 수 있는 정보의 양)'를 무한정 늘리는 것이 능사가 아니며, 오히려 불필요한 비용을 증가시킬 수 있음을 시사합니다. 특히 프론티어급 오픈 웨이트 모델(가중치가 공개된 고성능 모델)에서는 대화 이력의 뒷부분 토큰을 생성하는 비용이 앞부분보다 최대 7배 더 높을 수 있어, 효율적인 컨텍스트 관리가 중요해졌습니다. ²

긴 대화가 비싸지는 구조와 비용 격차

AI와 대화할 때 우리가 입력하거나 AI가 생성하는 텍스트는 '토큰'이라는 단위로 처리됩니다. AI는 답변을 만들어갈 때 이 토큰을 하나씩 추가해 나가는데, 연구진은 대화 이력이 길어질수록 뒷부분의 토큰을 생성하는 데 드는 연산 비용이 급격히 증가하는 현상을 발견했습니다. ²

프론티어 오픈 웨이트 모델의 경우, 대화 앞부분의 토큰과 뒷부분의 토큰 사이에서 생성 비용 차이가 최대 7배까지 벌어지기도 합니다. ² 이는 모든 대화 내용을 압축 없이 계속 쌓아두는 방식이 계산 자원 측면에서 매우 비효율적일 수 있음을 의미합니다. 특히 수십만 단어를 넘나드는 문서 분석이나 수십 단계의 소프트웨어 개발 작업을 수행할 때, 비용과 속도 문제를 해결하기 위해 컨텍스트 관리 전략이 필요해진 것입니다.

세 가지 컨텍스트 관리 전략과 실험 결과

NVIDIA 연구진은 컨텍스트를 관리하는 방식에 따른 성능 차이를 검증하기 위해 세 가지 전략을 제시하고 비교 실험을 진행했습니다. 커뮤니티 요약 및 관련 보고서에 따르면 이 세 가지는 다음과 같습니다. ¹

1. 무압축 누적(FHA): 대화 내용을 지우거나 요약하지 않고 전체 이력을 계속 쌓아두는 방식입니다.
2. 주기적 압축(EoCC): 특정 시점마다 대화 전체를 요약한 뒤, 요약된 내용을 바탕으로 새 대화를 시작하는 방식입니다. 현재 많이 채택되는 방법 중 하나입니다.
3. 의미 상태 갱신(SAC): 대화 전체를 저장하는 대신, 현재까지의 핵심 진척 상황(의미 상태)만 업데이트하며 한 단계씩 행동을 수행하는 극단적인 압축 방식입니다.

실험 결과, 최신 프론티어 모델에서는 'FRAMES' 벤치마크를 제외하고는 주기적으로 내용을 압축하더라도(방식 2) 작업 정확도에 큰 손실이 없는 것으로 확인되었습니다. Claude Opus 4.5와 같은 일부 모델에서는 오히려 압축했을 때 성능이 향상되는 경우도 있었습니다. ¹ 특히 주목할 점은 입력 데이터의 길이와 실제 대화 비용의 관계입니다. 입력 문서가 길든 짧든 AI와 대화하는 과정에서 실제로 사용되는 토큰 수는 거의 비슷했습니다. ¹ 논문은 이 점에서 입력이 길다고 반드시 긴 컨텍스트가 필요한 것은 아니며, 항상 필요한 정보와 필요할 때 찾아 쓸 수 있는 정보를 구분해 컨텍스트를 짧게 유지하는 편이 효율적이라고 해석합니다.

압축 전략의 성패를 가르는 '무엇을 남기느냐'

이러한 효율성이 모든 모델에 동일하게 적용되는 것은 아닙니다. 연구진은 109GB 메모리를 할당한 로컬 환경에서 소형 오픈 웨이트 모델을 실험했습니다. ¹ 그 결과 Qwen 3.6 27B와 MiniMax M2.7과 같은 모델은 주기적 압축 방식에서도 안정적으로 작동했습니다. ¹ 하지만 Qwen 3 Coder Next 모델은 압축 과정에서 성능이 53점에서 3.6점으로 급락하는 현상이 관찰되었습니다. ¹

연구진은 압축 시 장황한 추론 내용에서 핵심적이고 유용한 정보를 충분히 남기지 못한 것이 성능 저하의 원인일 수 있다고 지적했습니다. ¹ 결국 단순히 압축을 할 것인가 말 것인가가 아니라, 압축 과정에서 '무엇을 남기고 무엇을 버릴 것인가'를 결정하는 메커니즘이 모델의 자체 요약 능력과 밀접하게 연관되어 있음을 알 수 있습니다. 이는 로컬 환경에서 긴 문서를 다룰 때 고려해야 할 중요한 지점입니다.

SSSM 제안과 산업계의 하드웨어적 대응

NVIDIA 연구진은 이러한 발견을 바탕으로 '시맨틱 상태 공간 모델(SSSM, Semantic State Space Model)'이라는 개념을 제안했습니다. 자연어로 현재 상태 설명을 입력받아 행동을 수행하고, 그 결과를 반영해 의미 있는 상태만 업데이트하는 루프를 학습시키는 방식입니다. ¹, ² 이는 아직 제안 단계이지만, 긴 컨텍스트를 관리하는 새로운 방향을 제시합니다.

한편 산업계는 긴 대화가 낳는 메모리 병목을 해결하기 위해 하드웨어 계층을 재설계하고 있습니다. TrendForce 리서치에 따르면, NVIDIA는 2026년 1월 AI 추론의 massive KV 캐시 저장 수요에 대응하기 위해 로컬 SSD와 공유 스토리지 간 메모리 계층을 확장하는 전용 저장 플랫폼 'CMX'를 발표했습니다. ³ 이는 AI 추론 과정에서 키-값 캐시 수요가 급증함에 따라, 이를 효율적으로 관리하기 위한 물리적 인프라를 구축하고 있음을 보여줍니다. ³

한편 산업계가 하드웨어 용량을 늘려 비용을 감당하는 동안, 이번 연구는 소프트웨어 차원에서 '필요할 때 찾아 쓰는 방식'이 얼마나 효율적인지를 실증했습니다. 이 실험의 결론은, 프론티어 모델에서 FRAMES 벤치마크를 제외하면 AI가 긴 문서를 다룰 때 통째로 기억할 필요가 없으며, 주기적·극단적 압축 전략으로 작업 정확도를 거의 유지하면서 컨텍스트 길이를 크게 단축할 수 있다는 것입니다. 다만 로컬 소형 모델 실험에서 보듯 요약 능력이 따라주지 않는 모델은 압축 시 성능이 크게 흔들릴 수 있고, 논문은 명시적인 압축 학습이 훈련 과정에 없었더라도 짧은 컨텍스트를 유지하는 편이 실제로 유용할 수 있다고 덧붙입니다.