这一页回答六个问题:持续推理的目标是什么,解决什么问题,怎么做,模型要学什么,难在哪,边界在哪。每一条都指向 1-1 到 1-4 里展开的那一节,这里不出新论点。
先定住词。全双工是模型的运行方式:输入不冻结,边收边算边出。用在语音上是全双工语音模型;用在深度推理上,就是持续推理(Continuous Reasoning)。对照的是现在的离散调用:输入冻结在推理开始时,跑完才看下一批。全双工语音模型和持续推理不是两个概念,是一种运行方式用在两个地方,差别只在两次输入之间算几步(0-0 第 5.1 节,公式见 1-1 第 3.3 节)。
持续推理只关心推理这一个轴;交互和推理要不要分成两条流,是另一个轴,见 2-0 双流。
全系列用同一个例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。
对 Interactive Agent,持续推理要做到的是:用户在任务进行中的干预,落到进行中的工作上。
0-0 定的目标是用户随时可以交流、观察、干预,不用等任务结束。这个目标分两层。Agent 在干活时还能回应你,是双流解决的(2-0)。你说的话改变了它正在干的活,而不是只得到一句”收到”,是持续推理解决的。
没有持续推理,干预只有两种结局:Agent 按旧前提把任务做完,再重做一遍;或者打断重来,已经做对的部分一起丢掉。两种都让用户觉得说了等于没说,于是退回到等它做完再说,交互又变回 Turn-Based。持续推理的作用是让干预变得便宜、有效:改口即生效,有效的工作不丢。Async ReAct 在工具这一层做到了这件事(1-1 第 2 节),持续推理把它推进到模型推理这一层。
根本原因是计算期间状态在变。一次推理开始时读取的是当时的前提;推理还没结束,前提已经被新输入改了,结果就可能不再成立。同步执行不会遇到这个问题,因为计算期间系统不处理新输入。一旦允许计算和新输入并发,就一定会遇到它。见 1-2 第 1 节。
在传统 Agent 里,这个问题表现为两类等待。工具等待(Tool Waiting)是 Agent Runtime 的组织问题,Async ReAct 已经把它解掉了。推理等待(Inference Waiting)是另一层:一次 model.generate 是有固定输入的阻塞调用,新输入只能在下一次调用进入上下文,或者打断当前调用重来。见 1-1 第 1.3 节、第 2.5 节。
Async ReAct 只改了工具那一行,推理边界没变。持续推理要跨过的,正是这条边界。见 1-1 第 2.5 节、第 3.2 节。
写成式子:离散调用是 ,输入冻结在 ;持续推理是 ,每一步都看到最新的输入。语音模型的式子和持续推理同形,只是两次输入之间只算一步,没有”进行到一半”的东西。见 1-1 第 3.3 节。
传统离散推理在持续变化的交互环境里的局限,和持续推理要补的能力:
| 问题 | 传统离散推理的局限 | 持续推理希望实现的能力 |
|---|---|---|
| 输入时效性 | 新输入通常在下一次推理调用中生效 | 推理进行中也能及时吸收信息 |
| 推理连续性 | 中断、重启可能丢失已有计算进度 | 尽量保留有效的认知状态 |
| 动态目标适应 | 用户改变条件后,旧推理可能失效 | 持续修正推理方向与结论 |
| 计算效率 | 频繁重新推理可能重复计算 | 增量更新、按需分配计算 |
| 实时交互 | 长时间推理可能阻塞即时回应 | 这一条不由持续推理承担,而是双流的事,见 2-0 |
落到机制上,持续推理带来四项收益:
- 新输入的生效延迟。 新输入不必等这次推理结束,也不必打断重来,可以在 Token 或 chunk 边界进入。见 1-1 第 3.2 节、1-2 第 1 节。
- 已有推理的保留。 在自回归模型里,前缀只追加不改写,追加新输入不会让已有的 KV 失效;已经写下的推理留在前缀里继续用。Computational Validity 几乎是免费的。见 1-2 第 1.3 节。
- 结论的稳定。 每次输入变化都重推一遍,同一个问题可能给出不同结论;保留旧推理再修正,对用户说过的话不来回变。见 1-2 第 2 节。
- 推理长于输入变化间隔的任务。 推理快于输入变化时,快速离散推理就够用;推理时间超过相关输入变化的间隔时,只有在中途吸收变化才不会产出过时结果。见 1-2 第 2 节。
这些都只是推理轴上的收益。它不让推理变快,也不回答”推理跑着时谁来回应用户”,那是双流要解决的事。
3. 怎么做
Section titled “3. 怎么做”输入变了,进行中的推理有四种处理:排队,重跑(Interrupt & Restart),Steer,增量修正(Incremental Adaptation)。见 1-2 第 1 节。
在自回归模型里,前缀只追加不改写。后三种的计算形态相同:把新输入追加到前缀末尾,继续解码。差别只有三处:新输入什么时候插入,前缀里保留什么,模型会不会在这种前缀上修正。所以增量修正不是一种机制,而是一种模型能力。修改前缀不是必需的;回退到检查点、压缩前缀是优化,在粗粒度边界做。见 1-2 第 1.3 节。
另一条路线是缩短计算:推理快于输入变化的间隔,计算期间状态来不及变。两条路线的分界是推理时间与相关输入变化间隔之比。快速离散只对浅推理成立,总有一类任务的推理时间远超交互节奏,所以更可能混合使用。Micro-Turn 是缩短计算在交互层的代表,它解决高频的交互状态更新,不解决一段长推理中途前提被改的问题。见 1-2 第 2 节、第 3 节。
架构上,持续推理可以是一条序列(方案 A、C1),也可以是共享模型的双序列(方案 B)。比较见 3-0 三种架构。
4. 模型要学什么
Section titled “4. 模型要学什么”把深度推理放进全双工模型,模型的输出要同时覆盖推理内容、认知状态、推理预算,以及输出的时机与内容。这些不由独立的控制 Token 决定,而是联合建模,就像全双工语音模型里 Speak 不必是独立的 Action。见 1-3 第 1 节、第 3 节。
- 只修正受影响的部分。 旧推理留在前缀里,模型追加一段”公司在张江,通勤这条不成立,租金的结论不受影响”,而不是忽略新输入,也不是整段重来。更新在语义上分补充、修正、推翻三种。见 1-3 第 4.3 节、1-2 第 4.1 节。
- 预算中途调整。 补充信息通常继续,修正前提要为受影响的部分追加计算,推翻前提要停下重分配;推理越久,中途前提被改的可能越大。见 1-3 第 4.5 节。
- 输出的时机与内容。 推理中途说什么、带多大把握、什么时候收回说过的话。见 1-3 第 5 节。
统一的建模目标见 1-3 第 6 节。
- 分布外。 推理中途插入新输入,现有模型基本没见过;只修正受影响部分、保留其余的能力,现在没有专门的衡量。见 1-2 第 1.3 节的说明。
- 过时内容堆积。 前缀只追加,长会话里修正了十几次,被推翻的推理堆在上下文里会带偏模型,上下文也持续增长。要在粗粒度边界清理或压缩。见 1-2 第 1.3 节。
- 训练、目标和评测都要重做。 固定问题的训练数据要换成中途注入新输入的动态问题;目标不只看最终答案,还看生效延迟、重复计算和中途的交互质量。见 1-4 第 1 节、第 2 节。
- 隐向量没有监督信号。 推理放到帧间隐向量上,就没有”下一个 Token 应该是什么”这样的目标,训练也不能并行地 teacher forcing。见 3-0 第 5 节。
- 还没有答案的。 深度推理是否必须有显式 Token;推理依赖很复杂时,如何保证认知状态更新的正确性。见 1-4 第 3 节。
6.1 哪些问题不需要持续推理
Section titled “6.1 哪些问题不需要持续推理”实时交互的很多需求,用现有机制就能满足。只有最后两行是持续推理有直接价值的地方。
| 需求 | 是否必须用持续推理 | 用什么就够 |
|---|---|---|
| 边听边说 | 不必须 | 全双工语音模型;多流与时间对齐见 3-0 第 2 节,Micro-Turn 见 1-2 第 3 节 |
| 工具调用期间继续对话 | 不必须 | Async Runtime,见 1-1 第 2 节 |
| 用户修改要求 | 不必须 | Steering,见 1-2 第 1.2 节 |
| 后台结果过期检查 | 不必须 | 版本控制与一致性机制,见 2-3 |
| 保持长期认知状态 | 不必须 | 持久状态加离散推理,见 1-3 第 4 节 |
| 在输入尚未结束时展开深度推理 | 有直接价值 | 持续推理、流式推理 |
| 新输入到达时增量修正尚未完成的推理 | 重要的潜在优势 | 持续推理 |
所以,不能因为系统有实时交互需求,就推出必须做持续推理模型。如果深度推理足够快,快速离散推理可能满足大多数交互场景,两条路线的分界见 1-2 第 2 节。真正要回答的问题是:**在同样的交互延迟、推理正确性和计算预算约束下,持续推理相比快速离散推理,究竟还能带来多少不可替代的收益?**只有回答它,才能判断持续推理是必要的新范式,还是离散推理靠速度和 Runtime 优化就能逐渐做到的能力。
6.2 三个目标各做到哪一步
Section titled “6.2 三个目标各做到哪一步”- Think While Receiving:不必等输入全部结束才开始深入思考,边接收输入,边形成理解和推理。这一项已经有具体研究,StreamingThinker 让模型在读输入的过程中同步推理,用流式推理单元和并行 KV Cache 降低开始推理和产生答案的延迟。11 StreamingThinker: Large Language Models Can Think While Reading. ICLR 2026. 链接和结论来自 GPT 的笔记,没有重新核对。 Micro-Turn(1-2 第 3 节)讲的是交互状态的高频更新,不是深度推理边读边想,两者不同。
- Adapt While Thinking:新信息能够及时改变尚未完成的推理。对应 1-2 第 1.3 节的 Incremental Adaptation。
- Preserve Useful Reasoning:尽可能保留已有的有效计算和认知状态。对应 1-2 第 1.3 节。
第一项已经出现具体成果;第二、第三项仍有更大的探索空间。模型支持流式推理,不代表它已经能够选择性复用中间推理,后两项是独立的、更强的目标。
6.3 和双流的关系
Section titled “6.3 和双流的关系”持续推理和双流是两个独立的轴,0-0 第 7 节的 2×2 表把四种组合都列了出来。两者只在一处相接:双流里推理流怎么吸收交互流转来的新约束,持续推理是那个问题的候选解之一,离散推理配 Steering 是另一个。持续推理能替双流省掉哪些协调成本、省不掉哪些,见 2-1 第 7 节。
7. 这条线的文档
Section titled “7. 这条线的文档”| 编号 | 文档 | 回答的问题 |
|---|---|---|
| 1-1 | 从 ReAct 到 Async ReAct,再到持续推理 | 范式:新输入卡在哪条边界?ReAct、Async ReAct、持续推理各跨过什么边界;三种运行方式的公式 |
| 1-2 | 新输入怎么进入进行中的推理 | 做法:输入变了,进行中的计算能怎么办?重跑、Steer、增量修正的前缀相同,差别在模型;缩短计算还是吸收变化;Micro-Turn |
| 1-3 | 全双工模型的联合建模 | 建模:模型要联合建模什么?Speak 不必是独立 Action,六个维度,State Evolution,推理预算,输出的时机与内容,统一建模目标 |
| 1-4 | 持续推理的训练与评测 | 训练与评测:怎么训练,怎么知道做对了?训练数据、目标、对照实验、指标,还没有答案的问题 |
三种架构的比较不在这条线里,在 3-0 三种架构,因为架构同时涉及持续推理和双流两个轴。
-
StreamingThinker: Large Language Models Can Think While Reading. ICLR 2026. 链接和结论来自 GPT 的笔记,没有重新核对。 ↩