跳转到内容

Interactive Agent1-2 · 持续推理

新输入怎么进入进行中的推理:重跑、Steer 与增量修正

一次自回归推理进行中前提变了,计算层面有哪几种处理:重跑、Steer、增量修正,以及缩短计算这条对照路线;三种做法的前缀相同,差别在模型会不会修正。

更新于 阅读约 12 分钟

一次自回归推理进行到一半,前提变了,计算层面有哪几种处理:重跑、Steer、增量修正,以及缩短计算这条对照路线。单独写一篇,是因为这几种做法在计算形式上相同(前缀只追加),差别只在模型会不会修正;这一点决定了持续推理是机制问题还是能力问题。读完能判断:一个任务该走快速离散还是持续推理,分界是推理时长比输入变化间隔。

全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

1. 新输入如何影响正在进行的推理?

Section titled “1. 新输入如何影响正在进行的推理?”

这是 1-1 比较的三种范式之间最核心的技术分界。

这个分界背后是同一个原因:计算期间状态在变。 一次计算,无论是一次工具调用还是一次推理,开始时读取的是当时的前提;计算还没结束,前提已经被新输入改了,结果就可能不再成立。同步执行不会遇到这个问题,因为计算期间系统不处理新输入,状态不会变。一旦允许计算和新输入并发,就一定会遇到它。1-1 第 2.5 节的工具结果是它在 Harness 层的表现,下面的推理 A 是它在模型层的表现。

假设推理 A 已经进行到一半,新信息 B 到达。

存在几种可能的处理方式。打断之后也可以保留已生成的推理再继续(打断后继续);1.1 节和 1.3 节会说明它的前缀和 Steer 相同,所以表里不单列。

机制对推理 A 的处理特点
Queue等待当前推理结束后处理 B简单,但响应可能延迟
Interrupt & Restart终止当前生成,丢弃 A 已生成的推理,用 A 的上下文加 B 重新推理能及时更新,但可能浪费计算
Steer在当前执行循环的可处理边界加入 B保留执行上下文,但不保证即时生效
Incremental Adaptation保留仍然有效的推理,只修正受影响部分理想能力;在自回归模型里主要取决于模型能力

四种机制对同一时刻到达的同一个 B,处理已经进行到一半的推理 A 的方式不同:

Four ways new input B can reach reasoning A that is half done: queue, interrupt and restart, steer at a boundary, incremental adaptation

这是当前可以实现的直接方案:终止当前生成,用 A 的上下文加上 B 重新构造输入,再发起一次推理。

常见的 API 用法里,被打断的那次响应中的推理一般不会再传回模型,已经算出的部分推理因此被丢弃。如果把它留在上下文里再继续,就成了”打断后继续”,前缀和 Steer 相同,见 1.3 节。

其优点是容易复用现有模型和推理 API。

但如果用户频繁修正输入,就可能不断废弃已经计算的推理。

例如,连续几次用户补充导致推理反复重启,造成计算浪费甚至推理饥饿。

Steer 是运行中引导。

在 Codex 等 Agent 系统中,它通常意味着将新输入传入正在运行的 Agent Turn,再由后续模型调用处理。

它与重启整个任务不同,因为原有的执行上下文、工具结果和 Agent 工作历史仍可能保留。

但必须注意:

Agent 级 Steering 不等于直接改变一次尚未完成的 Transformer Decode。

如果当前模型调用正在生成一段很长的推理,新的 Steering 消息仍可能需要等待合适的处理边界。

这是更理想、也更困难的方向。

假设模型已经推导出:

  • 结论 A1:浦东的租金比徐汇低两成。
  • 结论 A2:住在陆家嘴附近通勤最短。
  • 计划 A3:进一步细看陆家嘴附近的小区。

现在用户把公司位置从陆家嘴修正为张江。

理想模型应当有机会保留 A1,同时重新评估 A2 和 A3,而不是机械地丢弃所有已有计算。

但这里涉及两种不同的有效性:

Computational Validity:已有计算状态是否还能正确复用。

Semantic Validity:已有结论是否仍然符合新前提。

例如,KV Cache 可以被技术性保存,并不意味着其中已生成的推理内容在新条件下依然正确。

因此,真正的增量推理需要的不只是更灵活的 Cache Management,还需要对推理依赖和结论有效性的处理能力。

还要说明一点:在单个自回归模型里,前缀默认只追加,不改写。 改写前缀不是做不到,但改动点之后的 KV 都要重算,下面把它当作一种优化来讨论。

由于 Causal Attention,前面 Token 的 KV 不受后面 Token 影响,在末尾追加 B 不会让已有的 KV 失效。所以打断后继续、Steer 和 Incremental Adaptation 的计算形态是一样的:都是把 B 追加到前缀末尾,然后继续解码。在这种方式下,Computational Validity 几乎是免费的;难的是 Semantic Validity,因为按陆家嘴写下的 A2、A3 仍然留在上下文里。

三者的区别只有三处:

  • B 什么时候插入。 Steer 要等到 Agent 循环的边界,B 到达之后生成的那部分 A 都按旧前提计算;打断可以在任意 Token 边界插入。
  • 前缀里保留什么。 这是唯一真正改变前缀的维度,见下图。
  • 模型有没有学会在这种前缀上修正。 前缀相同,模型可能忽略 B、顺着旧推理写下去,可能整段重来,也可能只重新评估 A2 和 A3。

Four ways to build the prefix after new input B arrives

所以在单个自回归模型里,Incremental Adaptation 不是一种不同的机制,而是一种模型能力:在保留旧推理的前缀上,学会只修正受影响的部分。它写出来的不是”修改 A2”,而是追加一段”公司在张江,A2 不成立,A1 不受影响”。这需要相应的训练,见 1-4 持续推理的训练与评测 第 1 节。

修改前缀不是必需的。 默认路线是旧推理留在前缀里,靠训练出来的模型能力修正;推理模型在思考中途写”wait,前面不对”再改正时,错的那一段也一直留在上下文里。回退到检查点、原地修改前提是优化,只在两种情况下值得做:

  • 过时内容多到产生干扰。 一次修正问题不大;长会话里修正了十几次,前缀里堆满被推翻的推理,模型更容易被带偏。
  • 上下文过长。 只追加不删除,上下文持续增长,注意力开销也随之增长。

所以合理的分工是:推理中途不改前缀,靠模型能力;在粗粒度边界(一轮结束、上下文快满)再清理或压缩前缀。现有系统已经这样做,例如 Claude 的 API 在新一轮开始时去掉之前几轮的思考内容。

在机制上真正不同的,是不靠追加的状态更新:认知状态是一个可以原地改写的隐状态,而不是只能追加的序列。3-0 第 5 节讨论的 Latent Reasoning 仍是只追加的隐向量序列,不属于这一类;原地改写固定大小状态的做法,那里没有展开。

一种观点是:如果深度推理足够快,例如一次只要 10ms,每次输入变化都重新推理一遍,外部效果就和持续推理等价,不需要中途调整。

用第 1 节的说法看,两条路线是对”计算期间状态在变”的两种应对:

策略做法失效的条件
缩短计算(快速离散推理)推理快于输入变化的间隔,计算期间状态来不及变推理时间超过相关输入变化的间隔
吸收变化(Incremental Adaptation)允许计算期间状态改变,在中途吸收模型修正不好:被旧推理带偏,或整段重来

衡量标准不是推理是否快过人的感知,而是推理时间与相关输入变化间隔之比。前者是体验指标,后者决定会不会出现过时的结果。

快速离散推理有三处限制:

  • 只对浅推理成立。 深度推理的计算量随问题难度增长;硬件更快,就会被用在更难的问题和更长的推理上。总有一类任务,推理时间远超交互节奏,而这正是需要深度推理的任务。推理还在跑时,仍需要有东西先回应用户,所以交互与推理分流的需求来自任务难度的分布,与推理速度无关。
  • 在自回归模型里不是另一种机制。 每次重新推理,都要决定上一轮推理留不留在前缀里。不留,就是高频的打断并丢弃,推理 Token 每次都要重新解码;留,就是追加后继续,与 Incremental Adaptation 在计算上相同。变量仍是 1.3 节的三个:多久插入一次、前缀里保留什么、模型会不会在这种前缀上修正。
  • 结论可能前后不一致。 同一个问题推理两次,结论可能不同。每次输入变化都重推一遍,交互流对用户说的话就可能来回变;保留旧推理再修正,结论更稳定。

所以两条路线更可能混合使用:简单问题用快速离散推理;长时间的复杂工作保留推理状态,在中途吸收变化。

3. Micro-Turn:连续模型为什么仍然可能需要离散计算?

Section titled “3. Micro-Turn:连续模型为什么仍然可能需要离散计算?”

这是一个容易产生误解的地方。

持续交互不意味着计算必须在数学意义上连续发生。

计算机系统通常仍通过离散计算步骤处理数据。

Micro-Turn 提供了一种折中:

将持续输入输出划分为较小的时间窗口,使模型能够频繁更新交互状态。

假设系统以一个较短时间窗口处理实时输入:

Micro-turn timeline with one window opened up

每个窗口可以包含:

  • 新到达的音频片段。
  • 新的视频信息。
  • 当前语音输出状态。
  • 上一个窗口的模型状态。
  • 当前需要作出的交互决策。

模型可以根据这些信息决定是否继续讲话、停止输出、保持沉默或调整后续响应。

用 1-1 第 3.3 节的记号写:Micro-Turn 是把帧按窗口分组,每个窗口一次离散调用。设窗口长 Δ\Delta(例如 200 ms),第 ww 个窗口的输出是

yw=f(x≤wΔ, y<w)y_w = f(x_{\le w\Delta},\ y_{<w})

输入冻结在窗口开始的时刻 wΔw\Delta,这次调用在下一个窗口开始前结束。它和全双工语音模型的式子只差一处:输入每 Δ\Delta 更新一次,而不是每帧;Δ\Delta 等于一帧时两者相同。

它允许系统在较短的时间间隔内处理新的输入,因此更适合学习和实现:

  • 用户打断。
  • 说话重叠。
  • 简短附和。
  • 停顿判断。
  • 对新环境线索的快速反应。

但 Micro-Turn 的长度会带来权衡。

窗口过长,可能增加交互延迟。

窗口过短,则可能增加调度、模型调用或状态更新开销,并限制每次决策可利用的上下文信息。

因此,最佳窗口不一定是固定值,还取决于模型架构、训练方式和推理硬件。

3.3 Micro-Turn 不能直接解决深度推理问题

Section titled “3.3 Micro-Turn 不能直接解决深度推理问题”

这是特别值得强调的一点。

假设模型需要进行持续十秒的复杂推理。

写成式子就看得出问题在哪。深度推理是 KK 步:rk=f(x≤wΔ, r<k)r_k = f(x_{\le w\Delta},\ r_{<k}),k=1,…,Kk = 1,\dots,K。只要这 KK 步在 Δ\Delta 内算完,下一个窗口就能看到新输入,Micro-Turn 够用。十秒的推理跨过五十个窗口,这期间 xx 仍然冻结在 wΔw\Delta;缩短 Δ\Delta 也没用,因为这次调用没结束,下一次调用就开始不了。

即使音频每 200 ms 更新一次,如果模型内部唯一的推理流在这十秒中无法响应新输入,那么系统仍然不具备完整的认知层面实时性。

因此:

Micro-Turn 解决的是高频交互状态更新;推理还在进行时前提已经被新输入改变,是另一层问题。这就是第 1 节说的”计算期间状态在变”。

这引出了下一节。

前面说增量修正靠模型能力。这一节说清楚,模型要做的修正在语义上有哪几种,以及”保留已有推理”里要分开的两种有效性。

更新类型含义示例
Accumulation新信息补充现有推理补充预算上限
Revision新信息修正部分推理更正公司位置
Invalidation新信息使重要前提失效不租了,公司提供宿舍

这些是语义上的状态变化,不是必须由模型输出的三种离散 Action。

它们可以通过内部状态更新自然发生。

但在计算层面,三种更新可能需要不同处理方式。

例如:

  • 继续当前生成。
  • 暂停推理并引入新的上下文。
  • 重新计算受影响的部分。
  • 丢弃已经无效的推理分支。

前两种只在上下文末尾追加,是默认做法;后两种要回退或改动前缀,是优化,只在过时内容多到产生干扰、或上下文过长时才值得做(见第 1.3 节)。

这里需要区分两个概念,沿用 1-1 从 ReAct 到持续推理 里的叫法。

Semantic Validity:模型能够保持对当前问题的理解,并根据新信息调整结论。

Computational Validity:模型能够在不丢弃全部已有计算的情况下继续推理。

两者并不完全等价。

例如,Interrupt + Restart 可能保留语义上下文,但丢弃部分计算状态。

反过来,即使 KV Cache 被保留,原来的推理内容也可能已经不符合最新条件。

因此,理想模型需要的不只是缓存复用,而是能够识别认知状态中的有效信息,并决定哪些部分需要修正。

在只追加的前缀上,这主要是模型能力问题(见 1-3 第 4.3 节);只有状态不止一段前缀时,才需要另外的更新规则。

输入变了,进行中的推理有四种处理:排队、重跑、Steer、增量修正。在单个自回归模型里,后三种的计算形态相同:前缀只追加,新输入接在末尾,模型继续写。差别只有三处:新输入什么时候插入、前缀里保留什么、模型会不会在这种前缀上修正。所以增量修正不是一种机制,而是一种模型能力。

另一条路线是缩短计算:推理快于输入变化的间隔,就不会出现过时的结果。Micro-Turn 是它在交互层的代表,但它解决的是高频交互状态更新,不解决一段长推理中途前提被改的问题。两条路线的分界是推理时长比输入变化间隔,更可能混合使用。

模型要在前缀上学会的修正是什么样,见 1-3;怎么训练和评测,见 1-4。