Interactive Agent1-2 · 持续推理
新输入怎么进入进行中的推理:重跑、Steer 与增量修正
一次自回归推理进行中前提变了,计算层面有哪几种处理:重跑、Steer、增量修正,以及缩短计算这条对照路线;三种做法的前缀相同,差别在模型会不会修正。
一次自回归推理进行到一半,前提变了,计算层面有哪几种处理:重跑、Steer、增量修正,以及缩短计算这条对照路线。单独写一篇,是因为这几种做法在计算形式上相同(前缀只追加),差别只在模型会不会修正;这一点决定了持续推理是机制问题还是能力问题。读完能判断:一个任务该走快速离散还是持续推理,分界是推理时长比输入变化间隔。
全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。
1. 新输入如何影响正在进行的推理?
Section titled “1. 新输入如何影响正在进行的推理?”这是 1-1 比较的三种范式之间最核心的技术分界。
这个分界背后是同一个原因:计算期间状态在变。 一次计算,无论是一次工具调用还是一次推理,开始时读取的是当时的前提;计算还没结束,前提已经被新输入改了,结果就可能不再成立。同步执行不会遇到这个问题,因为计算期间系统不处理新输入,状态不会变。一旦允许计算和新输入并发,就一定会遇到它。1-1 第 2.5 节的工具结果是它在 Harness 层的表现,下面的推理 A 是它在模型层的表现。
假设推理 A 已经进行到一半,新信息 B 到达。
存在几种可能的处理方式。打断之后也可以保留已生成的推理再继续(打断后继续);1.1 节和 1.3 节会说明它的前缀和 Steer 相同,所以表里不单列。
| 机制 | 对推理 A 的处理 | 特点 |
|---|---|---|
| Queue | 等待当前推理结束后处理 B | 简单,但响应可能延迟 |
| Interrupt & Restart | 终止当前生成,丢弃 A 已生成的推理,用 A 的上下文加 B 重新推理 | 能及时更新,但可能浪费计算 |
| Steer | 在当前执行循环的可处理边界加入 B | 保留执行上下文,但不保证即时生效 |
| Incremental Adaptation | 保留仍然有效的推理,只修正受影响部分 | 理想能力;在自回归模型里主要取决于模型能力 |
四种机制对同一时刻到达的同一个 B,处理已经进行到一半的推理 A 的方式不同:
1.1 Interrupt & Restart
Section titled “1.1 Interrupt & Restart”这是当前可以实现的直接方案:终止当前生成,用 A 的上下文加上 B 重新构造输入,再发起一次推理。
常见的 API 用法里,被打断的那次响应中的推理一般不会再传回模型,已经算出的部分推理因此被丢弃。如果把它留在上下文里再继续,就成了”打断后继续”,前缀和 Steer 相同,见 1.3 节。
其优点是容易复用现有模型和推理 API。
但如果用户频繁修正输入,就可能不断废弃已经计算的推理。
例如,连续几次用户补充导致推理反复重启,造成计算浪费甚至推理饥饿。
1.2 Steer
Section titled “1.2 Steer”Steer 是运行中引导。
在 Codex 等 Agent 系统中,它通常意味着将新输入传入正在运行的 Agent Turn,再由后续模型调用处理。
它与重启整个任务不同,因为原有的执行上下文、工具结果和 Agent 工作历史仍可能保留。
但必须注意:
Agent 级 Steering 不等于直接改变一次尚未完成的 Transformer Decode。
如果当前模型调用正在生成一段很长的推理,新的 Steering 消息仍可能需要等待合适的处理边界。
1.3 Incremental Adaptation
Section titled “1.3 Incremental Adaptation”这是更理想、也更困难的方向。
假设模型已经推导出:
- 结论 A1:浦东的租金比徐汇低两成。
- 结论 A2:住在陆家嘴附近通勤最短。
- 计划 A3:进一步细看陆家嘴附近的小区。
现在用户把公司位置从陆家嘴修正为张江。
理想模型应当有机会保留 A1,同时重新评估 A2 和 A3,而不是机械地丢弃所有已有计算。
但这里涉及两种不同的有效性:
Computational Validity:已有计算状态是否还能正确复用。
Semantic Validity:已有结论是否仍然符合新前提。
例如,KV Cache 可以被技术性保存,并不意味着其中已生成的推理内容在新条件下依然正确。
因此,真正的增量推理需要的不只是更灵活的 Cache Management,还需要对推理依赖和结论有效性的处理能力。
还要说明一点:在单个自回归模型里,前缀默认只追加,不改写。 改写前缀不是做不到,但改动点之后的 KV 都要重算,下面把它当作一种优化来讨论。
由于 Causal Attention,前面 Token 的 KV 不受后面 Token 影响,在末尾追加 B 不会让已有的 KV 失效。所以打断后继续、Steer 和 Incremental Adaptation 的计算形态是一样的:都是把 B 追加到前缀末尾,然后继续解码。在这种方式下,Computational Validity 几乎是免费的;难的是 Semantic Validity,因为按陆家嘴写下的 A2、A3 仍然留在上下文里。
三者的区别只有三处:
- B 什么时候插入。 Steer 要等到 Agent 循环的边界,B 到达之后生成的那部分 A 都按旧前提计算;打断可以在任意 Token 边界插入。
- 前缀里保留什么。 这是唯一真正改变前缀的维度,见下图。
- 模型有没有学会在这种前缀上修正。 前缀相同,模型可能忽略 B、顺着旧推理写下去,可能整段重来,也可能只重新评估 A2 和 A3。
所以在单个自回归模型里,Incremental Adaptation 不是一种不同的机制,而是一种模型能力:在保留旧推理的前缀上,学会只修正受影响的部分。它写出来的不是”修改 A2”,而是追加一段”公司在张江,A2 不成立,A1 不受影响”。这需要相应的训练,见 1-4 持续推理的训练与评测 第 1 节。
修改前缀不是必需的。 默认路线是旧推理留在前缀里,靠训练出来的模型能力修正;推理模型在思考中途写”wait,前面不对”再改正时,错的那一段也一直留在上下文里。回退到检查点、原地修改前提是优化,只在两种情况下值得做:
- 过时内容多到产生干扰。 一次修正问题不大;长会话里修正了十几次,前缀里堆满被推翻的推理,模型更容易被带偏。
- 上下文过长。 只追加不删除,上下文持续增长,注意力开销也随之增长。
所以合理的分工是:推理中途不改前缀,靠模型能力;在粗粒度边界(一轮结束、上下文快满)再清理或压缩前缀。现有系统已经这样做,例如 Claude 的 API 在新一轮开始时去掉之前几轮的思考内容。
在机制上真正不同的,是不靠追加的状态更新:认知状态是一个可以原地改写的隐状态,而不是只能追加的序列。3-0 第 5 节讨论的 Latent Reasoning 仍是只追加的隐向量序列,不属于这一类;原地改写固定大小状态的做法,那里没有展开。
2. 缩短计算,还是吸收变化
Section titled “2. 缩短计算,还是吸收变化”一种观点是:如果深度推理足够快,例如一次只要 10ms,每次输入变化都重新推理一遍,外部效果就和持续推理等价,不需要中途调整。
用第 1 节的说法看,两条路线是对”计算期间状态在变”的两种应对:
| 策略 | 做法 | 失效的条件 |
|---|---|---|
| 缩短计算(快速离散推理) | 推理快于输入变化的间隔,计算期间状态来不及变 | 推理时间超过相关输入变化的间隔 |
| 吸收变化(Incremental Adaptation) | 允许计算期间状态改变,在中途吸收 | 模型修正不好:被旧推理带偏,或整段重来 |
衡量标准不是推理是否快过人的感知,而是推理时间与相关输入变化间隔之比。前者是体验指标,后者决定会不会出现过时的结果。
快速离散推理有三处限制:
- 只对浅推理成立。 深度推理的计算量随问题难度增长;硬件更快,就会被用在更难的问题和更长的推理上。总有一类任务,推理时间远超交互节奏,而这正是需要深度推理的任务。推理还在跑时,仍需要有东西先回应用户,所以交互与推理分流的需求来自任务难度的分布,与推理速度无关。
- 在自回归模型里不是另一种机制。 每次重新推理,都要决定上一轮推理留不留在前缀里。不留,就是高频的打断并丢弃,推理 Token 每次都要重新解码;留,就是追加后继续,与 Incremental Adaptation 在计算上相同。变量仍是 1.3 节的三个:多久插入一次、前缀里保留什么、模型会不会在这种前缀上修正。
- 结论可能前后不一致。 同一个问题推理两次,结论可能不同。每次输入变化都重推一遍,交互流对用户说的话就可能来回变;保留旧推理再修正,结论更稳定。
所以两条路线更可能混合使用:简单问题用快速离散推理;长时间的复杂工作保留推理状态,在中途吸收变化。
3. Micro-Turn:连续模型为什么仍然可能需要离散计算?
Section titled “3. Micro-Turn:连续模型为什么仍然可能需要离散计算?”这是一个容易产生误解的地方。
持续交互不意味着计算必须在数学意义上连续发生。
计算机系统通常仍通过离散计算步骤处理数据。
Micro-Turn 提供了一种折中:
将持续输入输出划分为较小的时间窗口,使模型能够频繁更新交互状态。
3.1 Micro-Turn 的直观原理
Section titled “3.1 Micro-Turn 的直观原理”假设系统以一个较短时间窗口处理实时输入:
每个窗口可以包含:
- 新到达的音频片段。
- 新的视频信息。
- 当前语音输出状态。
- 上一个窗口的模型状态。
- 当前需要作出的交互决策。
模型可以根据这些信息决定是否继续讲话、停止输出、保持沉默或调整后续响应。
用 1-1 第 3.3 节的记号写:Micro-Turn 是把帧按窗口分组,每个窗口一次离散调用。设窗口长 (例如 200 ms),第 个窗口的输出是
输入冻结在窗口开始的时刻 ,这次调用在下一个窗口开始前结束。它和全双工语音模型的式子只差一处:输入每 更新一次,而不是每帧; 等于一帧时两者相同。
3.2 Micro-Turn 的优势
Section titled “3.2 Micro-Turn 的优势”它允许系统在较短的时间间隔内处理新的输入,因此更适合学习和实现:
- 用户打断。
- 说话重叠。
- 简短附和。
- 停顿判断。
- 对新环境线索的快速反应。
但 Micro-Turn 的长度会带来权衡。
窗口过长,可能增加交互延迟。
窗口过短,则可能增加调度、模型调用或状态更新开销,并限制每次决策可利用的上下文信息。
因此,最佳窗口不一定是固定值,还取决于模型架构、训练方式和推理硬件。
3.3 Micro-Turn 不能直接解决深度推理问题
Section titled “3.3 Micro-Turn 不能直接解决深度推理问题”这是特别值得强调的一点。
假设模型需要进行持续十秒的复杂推理。
写成式子就看得出问题在哪。深度推理是 步:,。只要这 步在 内算完,下一个窗口就能看到新输入,Micro-Turn 够用。十秒的推理跨过五十个窗口,这期间 仍然冻结在 ;缩短 也没用,因为这次调用没结束,下一次调用就开始不了。
即使音频每 200 ms 更新一次,如果模型内部唯一的推理流在这十秒中无法响应新输入,那么系统仍然不具备完整的认知层面实时性。
因此:
Micro-Turn 解决的是高频交互状态更新;推理还在进行时前提已经被新输入改变,是另一层问题。这就是第 1 节说的”计算期间状态在变”。
这引出了下一节。
4. 三种状态更新与两种有效性
Section titled “4. 三种状态更新与两种有效性”前面说增量修正靠模型能力。这一节说清楚,模型要做的修正在语义上有哪几种,以及”保留已有推理”里要分开的两种有效性。
4.1 三种状态更新
Section titled “4.1 三种状态更新”| 更新类型 | 含义 | 示例 |
|---|---|---|
| Accumulation | 新信息补充现有推理 | 补充预算上限 |
| Revision | 新信息修正部分推理 | 更正公司位置 |
| Invalidation | 新信息使重要前提失效 | 不租了,公司提供宿舍 |
这些是语义上的状态变化,不是必须由模型输出的三种离散 Action。
它们可以通过内部状态更新自然发生。
但在计算层面,三种更新可能需要不同处理方式。
例如:
- 继续当前生成。
- 暂停推理并引入新的上下文。
- 重新计算受影响的部分。
- 丢弃已经无效的推理分支。
前两种只在上下文末尾追加,是默认做法;后两种要回退或改动前缀,是优化,只在过时内容多到产生干扰、或上下文过长时才值得做(见第 1.3 节)。
4.2 语义有效性与计算有效性
Section titled “4.2 语义有效性与计算有效性”这里需要区分两个概念,沿用 1-1 从 ReAct 到持续推理 里的叫法。
Semantic Validity:模型能够保持对当前问题的理解,并根据新信息调整结论。
Computational Validity:模型能够在不丢弃全部已有计算的情况下继续推理。
两者并不完全等价。
例如,Interrupt + Restart 可能保留语义上下文,但丢弃部分计算状态。
反过来,即使 KV Cache 被保留,原来的推理内容也可能已经不符合最新条件。
因此,理想模型需要的不只是缓存复用,而是能够识别认知状态中的有效信息,并决定哪些部分需要修正。
在只追加的前缀上,这主要是模型能力问题(见 1-3 第 4.3 节);只有状态不止一段前缀时,才需要另外的更新规则。
输入变了,进行中的推理有四种处理:排队、重跑、Steer、增量修正。在单个自回归模型里,后三种的计算形态相同:前缀只追加,新输入接在末尾,模型继续写。差别只有三处:新输入什么时候插入、前缀里保留什么、模型会不会在这种前缀上修正。所以增量修正不是一种机制,而是一种模型能力。
另一条路线是缩短计算:推理快于输入变化的间隔,就不会出现过时的结果。Micro-Turn 是它在交互层的代表,但它解决的是高频交互状态更新,不解决一段长推理中途前提被改的问题。两条路线的分界是推理时长比输入变化间隔,更可能混合使用。