跳转到内容

Interactive Agent1-0 · 持续推理

持续推理:为什么、解决什么、引入什么

持续推理这条线的入口:目标、问题、怎么做、模型要学什么、难点、边界,以及 1-1 到 1-4 各讲什么。

更新于 阅读约 10 分钟

这一页回答六个问题:持续推理的目标是什么,解决什么问题,怎么做,模型要学什么,难在哪,边界在哪。每一条都指向 1-1 到 1-4 里展开的那一节,这里不出新论点。

先定住词。全双工是模型的运行方式:输入不冻结,边收边算边出。用在语音上是全双工语音模型;用在深度推理上,就是持续推理(Continuous Reasoning)。对照的是现在的离散调用:输入冻结在推理开始时,跑完才看下一批。全双工语音模型和持续推理不是两个概念,是一种运行方式用在两个地方,差别只在两次输入之间算几步(0-0 第 5.1 节,公式见 1-1 第 3.3 节)。

持续推理只关心推理这一个轴;交互和推理要不要分成两条流,是另一个轴,见 2-0 双流。

全系列用同一个例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

对 Interactive Agent,持续推理要做到的是:用户在任务进行中的干预,落到进行中的工作上。

0-0 定的目标是用户随时可以交流、观察、干预,不用等任务结束。这个目标分两层。Agent 在干活时还能回应你,是双流解决的(2-0)。你说的话改变了它正在干的活,而不是只得到一句”收到”,是持续推理解决的。

没有持续推理,干预只有两种结局:Agent 按旧前提把任务做完,再重做一遍;或者打断重来,已经做对的部分一起丢掉。两种都让用户觉得说了等于没说,于是退回到等它做完再说,交互又变回 Turn-Based。持续推理的作用是让干预变得便宜、有效:改口即生效,有效的工作不丢。Async ReAct 在工具这一层做到了这件事(1-1 第 2 节),持续推理把它推进到模型推理这一层。

根本原因是计算期间状态在变。一次推理开始时读取的是当时的前提;推理还没结束,前提已经被新输入改了,结果就可能不再成立。同步执行不会遇到这个问题,因为计算期间系统不处理新输入。一旦允许计算和新输入并发,就一定会遇到它。见 1-2 第 1 节。

在传统 Agent 里,这个问题表现为两类等待。工具等待(Tool Waiting)是 Agent Runtime 的组织问题,Async ReAct 已经把它解掉了。推理等待(Inference Waiting)是另一层:一次 model.generate 是有固定输入的阻塞调用,新输入只能在下一次调用进入上下文,或者打断当前调用重来。见 1-1 第 1.3 节、第 2.5 节。

Async ReAct 只改了工具那一行,推理边界没变。持续推理要跨过的,正是这条边界。见 1-1 第 2.5 节、第 3.2 节。

写成式子:离散调用是 rk=f(x≤T, r<k)r_k = f(x_{\le T},\ r_{<k}),输入冻结在 TT;持续推理是 rk=f(x≤t(k), r<k)r_k = f(x_{\le t(k)},\ r_{<k}),每一步都看到最新的输入。语音模型的式子和持续推理同形,只是两次输入之间只算一步,没有”进行到一半”的东西。见 1-1 第 3.3 节。

传统离散推理在持续变化的交互环境里的局限,和持续推理要补的能力:

问题传统离散推理的局限持续推理希望实现的能力
输入时效性新输入通常在下一次推理调用中生效推理进行中也能及时吸收信息
推理连续性中断、重启可能丢失已有计算进度尽量保留有效的认知状态
动态目标适应用户改变条件后,旧推理可能失效持续修正推理方向与结论
计算效率频繁重新推理可能重复计算增量更新、按需分配计算
实时交互长时间推理可能阻塞即时回应这一条不由持续推理承担,而是双流的事,见 2-0

落到机制上,持续推理带来四项收益:

  • 新输入的生效延迟。 新输入不必等这次推理结束,也不必打断重来,可以在 Token 或 chunk 边界进入。见 1-1 第 3.2 节、1-2 第 1 节。
  • 已有推理的保留。 在自回归模型里,前缀只追加不改写,追加新输入不会让已有的 KV 失效;已经写下的推理留在前缀里继续用。Computational Validity 几乎是免费的。见 1-2 第 1.3 节。
  • 结论的稳定。 每次输入变化都重推一遍,同一个问题可能给出不同结论;保留旧推理再修正,对用户说过的话不来回变。见 1-2 第 2 节。
  • 推理长于输入变化间隔的任务。 推理快于输入变化时,快速离散推理就够用;推理时间超过相关输入变化的间隔时,只有在中途吸收变化才不会产出过时结果。见 1-2 第 2 节。

这些都只是推理轴上的收益。它不让推理变快,也不回答”推理跑着时谁来回应用户”,那是双流要解决的事。

输入变了,进行中的推理有四种处理:排队,重跑(Interrupt & Restart),Steer,增量修正(Incremental Adaptation)。见 1-2 第 1 节。

在自回归模型里,前缀只追加不改写。后三种的计算形态相同:把新输入追加到前缀末尾,继续解码。差别只有三处:新输入什么时候插入,前缀里保留什么,模型会不会在这种前缀上修正。所以增量修正不是一种机制,而是一种模型能力。修改前缀不是必需的;回退到检查点、压缩前缀是优化,在粗粒度边界做。见 1-2 第 1.3 节。

另一条路线是缩短计算:推理快于输入变化的间隔,计算期间状态来不及变。两条路线的分界是推理时间与相关输入变化间隔之比。快速离散只对浅推理成立,总有一类任务的推理时间远超交互节奏,所以更可能混合使用。Micro-Turn 是缩短计算在交互层的代表,它解决高频的交互状态更新,不解决一段长推理中途前提被改的问题。见 1-2 第 2 节、第 3 节。

架构上,持续推理可以是一条序列(方案 A、C1),也可以是共享模型的双序列(方案 B)。比较见 3-0 三种架构。

把深度推理放进全双工模型,模型的输出要同时覆盖推理内容、认知状态、推理预算,以及输出的时机与内容。这些不由独立的控制 Token 决定,而是联合建模,就像全双工语音模型里 Speak 不必是独立的 Action。见 1-3 第 1 节、第 3 节。

  • 只修正受影响的部分。 旧推理留在前缀里,模型追加一段”公司在张江,通勤这条不成立,租金的结论不受影响”,而不是忽略新输入,也不是整段重来。更新在语义上分补充、修正、推翻三种。见 1-3 第 4.3 节、1-2 第 4.1 节。
  • 预算中途调整。 补充信息通常继续,修正前提要为受影响的部分追加计算,推翻前提要停下重分配;推理越久,中途前提被改的可能越大。见 1-3 第 4.5 节。
  • 输出的时机与内容。 推理中途说什么、带多大把握、什么时候收回说过的话。见 1-3 第 5 节。

统一的建模目标见 1-3 第 6 节。

  • 分布外。 推理中途插入新输入,现有模型基本没见过;只修正受影响部分、保留其余的能力,现在没有专门的衡量。见 1-2 第 1.3 节的说明。
  • 过时内容堆积。 前缀只追加,长会话里修正了十几次,被推翻的推理堆在上下文里会带偏模型,上下文也持续增长。要在粗粒度边界清理或压缩。见 1-2 第 1.3 节。
  • 训练、目标和评测都要重做。 固定问题的训练数据要换成中途注入新输入的动态问题;目标不只看最终答案,还看生效延迟、重复计算和中途的交互质量。见 1-4 第 1 节、第 2 节。
  • 隐向量没有监督信号。 推理放到帧间隐向量上,就没有”下一个 Token 应该是什么”这样的目标,训练也不能并行地 teacher forcing。见 3-0 第 5 节。
  • 还没有答案的。 深度推理是否必须有显式 Token;推理依赖很复杂时,如何保证认知状态更新的正确性。见 1-4 第 3 节。

实时交互的很多需求,用现有机制就能满足。只有最后两行是持续推理有直接价值的地方。

需求是否必须用持续推理用什么就够
边听边说不必须全双工语音模型;多流与时间对齐见 3-0 第 2 节,Micro-Turn 见 1-2 第 3 节
工具调用期间继续对话不必须Async Runtime,见 1-1 第 2 节
用户修改要求不必须Steering,见 1-2 第 1.2 节
后台结果过期检查不必须版本控制与一致性机制,见 2-3
保持长期认知状态不必须持久状态加离散推理,见 1-3 第 4 节
在输入尚未结束时展开深度推理有直接价值持续推理、流式推理
新输入到达时增量修正尚未完成的推理重要的潜在优势持续推理

所以,不能因为系统有实时交互需求,就推出必须做持续推理模型。如果深度推理足够快,快速离散推理可能满足大多数交互场景,两条路线的分界见 1-2 第 2 节。真正要回答的问题是:**在同样的交互延迟、推理正确性和计算预算约束下,持续推理相比快速离散推理,究竟还能带来多少不可替代的收益?**只有回答它,才能判断持续推理是必要的新范式,还是离散推理靠速度和 Runtime 优化就能逐渐做到的能力。

  • Think While Receiving:不必等输入全部结束才开始深入思考,边接收输入,边形成理解和推理。这一项已经有具体研究,StreamingThinker 让模型在读输入的过程中同步推理,用流式推理单元和并行 KV Cache 降低开始推理和产生答案的延迟。11 StreamingThinker: Large Language Models Can Think While Reading. ICLR 2026. 链接和结论来自 GPT 的笔记,没有重新核对。 Micro-Turn(1-2 第 3 节)讲的是交互状态的高频更新,不是深度推理边读边想,两者不同。
  • Adapt While Thinking:新信息能够及时改变尚未完成的推理。对应 1-2 第 1.3 节的 Incremental Adaptation。
  • Preserve Useful Reasoning:尽可能保留已有的有效计算和认知状态。对应 1-2 第 1.3 节。

第一项已经出现具体成果;第二、第三项仍有更大的探索空间。模型支持流式推理,不代表它已经能够选择性复用中间推理,后两项是独立的、更强的目标。

持续推理和双流是两个独立的轴,0-0 第 7 节的 2×2 表把四种组合都列了出来。两者只在一处相接:双流里推理流怎么吸收交互流转来的新约束,持续推理是那个问题的候选解之一,离散推理配 Steering 是另一个。持续推理能替双流省掉哪些协调成本、省不掉哪些,见 2-1 第 7 节。

编号文档回答的问题
1-1从 ReAct 到 Async ReAct,再到持续推理范式:新输入卡在哪条边界?ReAct、Async ReAct、持续推理各跨过什么边界;三种运行方式的公式
1-2新输入怎么进入进行中的推理做法:输入变了,进行中的计算能怎么办?重跑、Steer、增量修正的前缀相同,差别在模型;缩短计算还是吸收变化;Micro-Turn
1-3全双工模型的联合建模建模:模型要联合建模什么?Speak 不必是独立 Action,六个维度,State Evolution,推理预算,输出的时机与内容,统一建模目标
1-4持续推理的训练与评测训练与评测:怎么训练,怎么知道做对了?训练数据、目标、对照实验、指标,还没有答案的问题

三种架构的比较不在这条线里,在 3-0 三种架构,因为架构同时涉及持续推理和双流两个轴。

Footnotes
  1. StreamingThinker: Large Language Models Can Think While Reading. ICLR 2026. 链接和结论来自 GPT 的笔记,没有重新核对。 ↩