在让AI分析厚文档或分多步骤解决复杂问题时，模型是否必须从头到尾精准记住全部对话内容？NVIDIA研究人员（Peter Belcak等12人）于2026年11月公布的实验结果表明，最新AI模型即使对对话内容进行实时摘要与压缩，其任务准确率也能基本保持稳定。而且，无论输入文档长短，实际AI对话所消耗的token数量差异甚微。1, 2

该研究表明，单纯无限扩大“上下文窗口”（模型单次可参考的信息量）并非万灵药，反而可能增加不必要的成本。特别是在前沿级开放权重模型（权重公开的高性能模型）中，生成对话后半段token的成本可能比前半段高至7倍，因此高效的上下文管理变得至关重要。2

长对话导致成本攀升的结构与成本差距

长对话导致成本攀升的结构与成本差距

在与AI对话时，我们输入或AI生成的文本均被拆分为“token”进行处理。AI在生成回复时逐token追加内容，研究人员发现，随着对话历史变长，生成后半段token的算力成本急剧上升。2

在前沿开放权重模型中，对话前半段与后半段token的生成成本差距最高可达7倍。2这意味着无压缩地持续累积全部对话内容在算力层面效率极低。尤其当面对数十万字文档分析或数十步软件开发任务时，为解决成本与速度问题，必须引入上下文管理策略。

三种上下文管理策略及实验结果

为验证不同上下文管理方式的性能差异，NVIDIA研究人员提出了三种策略并进行了对比实验。据社区摘要及相关报告，这三种方式如下。1

  1. 无压缩累积（FHA）：不对对话内容进行清除或摘要，持续累积全部历史记录。
  2. 周期性压缩（EoCC）：在特定节点对整个对话进行摘要，随后基于摘要内容开启新对话。这是目前广泛采用的方法之一。
  3. 语义状态更新（SAC）：不存储完整对话，仅更新截至目前的核心进展状态（语义状态），并逐步执行操作，属于一种极致压缩方式。

实验结果表明，在最新前沿模型中，除“FRAMES”基准测试外，即使周期性压缩内容（方式2），任务准确率也未出现显著下降。在Claude Opus 4.5等部分模型中，压缩后性能反而有所提升。1 值得特别关注的是输入数据长度与实际对话成本的关系：无论输入文档长短，AI对话过程中实际使用的token数量几乎相同。1 论文据此指出，输入长并不必然要求长上下文；始终区分“必需信息”与“按需检索信息”，保持上下文简短，往往更具效率。

压缩策略运作机制主要观察结果
FHA无压缩持续累积对话历史直观暴露token成本急剧攀升的基准线 1
EoCC周期性摘要整个对话并开启新会话除FRAMES外，前沿模型准确率保持稳定或有所提升 1
SAC执行操作后仅更新“语义状态”并累积上下文长度大幅缩短，准确率得以维持 1, 2

决定压缩策略成败的关键：留什么、弃什么

上述效率优势并非在所有模型中等同体现。研究人员在分配109GB内存的本地环境中测试了小型开放权重模型。1 结果显示，Qwen 3.6 27B与MiniMax M2.7等模型在周期性压缩方式下仍能稳定运行。1 然而，Qwen 3 Coder Next模型在压缩过程中性能得分从53骤降至3.6。1

研究人员指出，性能下降的原因可能在于压缩时未能从冗长推理内容中保留足够的核心有效信息。1 由此可见，关键不在于是否采用压缩，而在于压缩机制中“保留什么、丢弃什么”的决策方式，这与模型自身的摘要能力密切相关。这也是在本地环境处理长文档时需重点考量的因素。

SSSM方案与产业界的硬件应对

基于上述发现，NVIDIA研究人员提出了“语义状态空间模型”（SSSM，Semantic State Space Model）概念。该方式以自然语言输入当前状态描述，执行动作后，根据结果更新有意义的状态，并对此循环进行训练。1, 2 这虽尚处提议阶段，但为长上下文管理提供了新方向。

另一方面，为缓解长对话带来的内存瓶颈，产业界正重新设计硬件层。据TrendForce调研，NVIDIA于2026年1月发布了专用存储平台“CMX”，通过扩展本地SSD与共享存储间的内存层级，以应对AI推理中海量KV缓存的存储需求。3 这表明随着AI推理过程中键值缓存需求激增，业界正着手构建相应的物理基础设施以实现高效管理。3

在产业界通过扩充硬件容量以消化成本的同时，本研究从软件层面验证了“按需检索”方式的高效性。实验结论表明：除FRAMES基准测试外，前沿模型在处理长文档时无需整体记忆，借助周期性或极致压缩策略，即可大幅缩短上下文长度并基本保持任务准确率。但本地小型模型实验也显示，若模型摘要能力不足，压缩时性能可能剧烈波动；论文还补充指出，即便训练过程未包含显式压缩学习，维持短上下文实际上仍可能带来益处。

参考资料

  1. ↩
  2. ↩
  3. ↩