跳转到内容

Interactive Agent2-1 · 双流

双流:实时交互与深度推理的分流

实时交互与深度推理为什么分成两条流,分流解决什么、引入什么问题,两条流如何耦合,以及持续推理能替双流省掉哪些协调成本。

更新于 阅读约 18 分钟

实时交互和深度推理为什么要分成两条流,分流解决什么、引入什么问题;两条流之间怎么耦合;持续推理能替双流省掉哪些协调成本,省不掉哪些。

深度推理的时长由任务难度决定,总有任务的推理时间远超交互节奏;推理还在跑时,需要有东西先回应用户。把交互和推理分成两条流,就是对这件事的回答。本文先讲为什么分流、分流解决了什么,再讲两条流之间怎么耦合,最后按传统异步并发的六个维度,加上双流特有的两个问题,列出分流引入了什么。持续推理(1-0 到 1-4)和双流是两个独立的轴:持续推理只是双流里”推理流怎么吸收新约束”这一个问题的候选解,第 7 节单独讲它能省掉哪些协调成本。

全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

1.1 认知活动具有不同的时间尺度

Section titled “1.1 认知活动具有不同的时间尺度”

实时对话中的一些行为只需要很短的响应时间。

例如:

  • 简短确认。
  • 停止当前语音输出。
  • 判断用户是否在打断。
  • 提醒用户某个任务已经完成。

但另一些任务可能需要大量计算:

  • 深入分析代码仓库。
  • 证明一个数学结论。
  • 规划复杂软件架构。
  • 长时间搜索和整合资料。

这些活动的计算需求完全不同。

如果模型只有一个不可中断的推理流,复杂任务就可能影响即时回应。

1.2 为什么强大的单模型仍需要分流?

Section titled “1.2 为什么强大的单模型仍需要分流?”

假设同一个模型同时承担:

  • 任务 A:正在进行深度推理。
  • 任务 B:用户突然提出即时问题。

如果模型推理引擎无法暂停 A 或在 A 运行时服务 B,那么 B 只能等待。

这说明:

模型参数统一,并不自动意味着推理执行能够并发。

B 要等,原因不在算力:深度推理的时间由任务难度决定,总有任务超过交互节奏,所以交互与推理要分流(1-2 第 2 节)。A 在推理期间,前提也可能被 B 改掉(1-2 第 1 节)。

所以要研究两件事:交互与推理如何分流(本文),以及模型如何在推理进行中吸收新输入(1-0 到 1-4)。

2. 为什么 Async ReAct 还不能完全解决实时交互?

Section titled “2. 为什么 Async ReAct 还不能完全解决实时交互?”

DeepSeek 在《Super-agent 设计探索》中提出通过异步工具执行,让 Agent Loop 不必在长时间操作期间一直等待。11 DeepSeek. (2026). Super-agent 设计探索:迈向更自主的 Agent 系统. 异步工具执行与 Agent Loop 解耦。

Thinking Machines 的 Interaction Models 则进一步探索了模型原生的连续多模态交互。22 Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。

两者反映了不同层面的改造。

即使后台模型仍然按离散调用运行,只要前台持续响应,用户就可以获得连续的交互体验。

例如:

System-level continuity: the user talks to a front real-time interaction that stays responsive while background reasoning and tools run as discrete calls and return partial results

这种架构可以很好地解决产品层面的交互阻塞。

但其深度推理过程可能仍然由多个离散的模型调用拼接而成。

更理想的系统希望模型在持续认知过程中及时处理新信息。

例如,模型正在形成复杂推理,用户提供一个新约束,模型能够及时调整后续计算,而无需总是等待完整输出、重新构建上下文。

这就是持续推理(1-0)。

不过,持续推理不等于全部推理必须始终驻留 GPU,也不意味着所有历史计算必须被保留。

模型仍可能暂停、重算或丢弃过期推理。

真正的目标是,在保证正确性的前提下,降低新信息生效的延迟及其计算代价。

为了理解交互与推理如何并行推进,可以先考虑三条逻辑时间线:

  • User Input Stream:用户持续输入的音频。
  • Interaction Stream:实时感知、交互理解和语音回应。
  • Reasoning Stream:较长时间尺度的深度推理。

外部工具结果可以作为第四类异步输入进入系统。

Three logical streams: user input keeps arriving, the interaction stream answers in output audio, the reasoning stream absorbs a correction mid-way and calls the tool again

逻辑示意:交互处理保持低延迟,深度推理可以持续推进,并在新输入或外部观察到达后调整。这里不预设模型内部有两个物理独立的推理实例。

4.1 两条具有不同时间尺度的推理活动

Section titled “4.1 两条具有不同时间尺度的推理活动”

本文把模型推理划分为两个逻辑流:

  • Interaction Stream:持续理解用户输入,并负责实时表达。
  • Reasoning Stream:执行复杂、耗时较长的推理。

两者可以共享模型参数,也可以通过不同的推理上下文运行。这里暂时不限制具体实现。

Interaction stream and reasoning stream on one timeline: the interaction stream tracks input at a fast pace, the reasoning stream advances step by step; a correction flows down; an applied ack and a partial finding flow up

概念示意:交互推理持续跟踪输入,深度推理具有独立的计算进度;新输入与中间结论在两个方向上传播。

两条流之间需要支持双向影响。

Interaction → Reasoning:用户提供新的条件、纠正或补充信息,影响正在进行的推理。

Reasoning → Interaction:深度推理产生阶段性发现,交互流据此改变回应内容和表达时机。

例如模型正在分析一个问题,用户询问:

目前有什么结论?

交互流不一定需要等待全部深度推理结束,而是可以利用已经得到、且有足够依据的阶段性结果回答。

Reasoning → Interaction 还有一种返回:约束已生效的确认。用户纠正公司位置后,交互流可以马上回答”好的,张江”,但推理流要到下一个推理步才开始按张江计算。在这段时间差里,推理流产出的仍是按陆家嘴得出的结论。所以约束生效时,推理流要往上发一条确认(图中的 applied: office = Zhangjiang),交互流据此知道,之后的阶段性结论可以用来回答用户。

如果两条流只在最终结果产生时交换信息,那么实际上仍接近传统异步委派。

更理想的机制是允许两者持续交换认知状态的增量变化。

不过,这里不一定需要将全部 Reasoning Tokens 直接发送给 Interaction Stream。

因为交互流未必需要完整的内部推理过程。

它更可能需要:

  • 当前问题理解。
  • 重要的阶段性结论。
  • 尚未解决的不确定性。
  • 对原有推理方向的关键修正。
  • 当前能否安全地给用户回答。

因此,共享信息不一定是完整推理序列,也可能是经过压缩的认知状态表示。

这是一项值得研究的模型设计选择。

共享模型、双推理流的方案(方案 B)是 3-0 比较的三种架构之一:两条序列,交互序列按固定的帧时钟推进,推理序列按自己的节奏写,两者之间只传递简短的消息,不传推理过程。序列形式、消息的样子和它的挑战,3-0 第 4 节讲。

这里只记一个双流特有、还没有解法的问题:

  • 旧结果晚到:用户改口之前算出的结果,可能在改口之后才送到交互序列,被当成新结果。单一序列没有这个问题;两个独立模型也有。

两条流各自推进之后,传统异步与并发系统的一整套问题都会出现。下面先按六个维度列出,再加上两个双流特有的问题。

传统单流推理通常具有明确的执行顺序:

Input → Reasoning → Output → Next Input

而双流允许:

Four-lane dual-stream timeline with no single state view

Interaction 持续处理输入,Reasoning 独立推进。与此同时,用户可能修改要求,Reasoning 也可能返回中间结果。

因此,系统不再天然拥有一个统一的执行顺序和状态视图。

核心问题变成:两个具有不同时间尺度的执行流,如何安全、高效地共同推进一项持续变化的认知活动?

维度具体问题典型例子
1. Execution如何启动、暂停、恢复和中断推理?用户修改要求,旧推理是否继续
2. Scheduling两条流如何竞争计算资源?Deep Reasoning 占用 GPU,语音回复延迟
3. Communication信息如何在两条流之间传递?Interaction 何时通知 Reasoning 新约束
4. State两条流如何维护与共享认知状态?Interaction 已更新目标,Reasoning 仍使用旧上下文
5. Lifecycle推理活动何时结束、取消或重启?用户不再需要结果,但后台仍然运行
6. Consistency如何处理过期结果和冲突?按陆家嘴算出的结果覆盖按张江得出的结论

这六个维度不是完全独立的。例如,状态同步涉及 Communication 与 State,过期结果则同时涉及 Lifecycle 和 Consistency。

下面具体展开。

首先,两条流有不同的执行进度。

Interaction 可能已经处理了多轮用户输入,而 Reasoning 仍然在完成最初的问题。

这会产生几个问题:

  • Preemption:是否需要抢占正在进行的推理?
  • Steering:如何把新输入注入当前推理?
  • Resume:暂停后从哪里继续?
  • Restart:哪些情况下必须重新推理?
  • Fork:能否保留旧推理,同时开启另一个方向?

例如:

Reasoning A ━━━━━━━━━━━━━━━━━━━
▲
│
新约束 B

此时不一定总要中断。

可以继续 A 并在后续吸收 B,也可以中断重启,或者开启一条新推理分支。

这里的困难是:哪个控制操作最合适,既取决于新输入的语义,也取决于当前的计算状态。

Interaction 对延迟敏感,Reasoning 对计算吞吐量和推理质量敏感。

如果它们共享同一张 GPU,就可能发生资源竞争。

两种调度策略:策略 A 让深度推理长时间占用资源;策略 B 为实时交互保留定期执行机会。这里说的是逻辑计算资源分配,不代表 GPU Kernel 可以在任意时刻抢占。

具体问题包括实时任务的尾延迟、调度优先级、GPU 计算与显存竞争、频繁切换的开销,以及后台推理是否会因为前台过于繁忙而饥饿。

双流能够逻辑并发,并不意味着一定能满足实时性要求。

Interaction 获得新信息后,什么时候发送给 Reasoning?

这里至少涉及四个问题:

问题解释
Message Timing每个音频片段都发送,还是只发送重要语义变化?
Ordering多条更新是否按正确顺序被处理?
Delivery消息如何确认接收,如何避免丢失或重复处理?
Backpressure用户输入变化速度超过 Reasoning 处理能力怎么办?

例如用户在短时间内连续修正三个条件。

Interaction:
A → B → C → D
Reasoning:
A ────── B ────── ?

如果 Reasoning 处理更新的速度远低于 Interaction,系统就可能积累大量待处理消息。

一种方案是合并更新,让 Reasoning 直接处理最新的 D。

但如果 B、C 中包含不能省略的操作或约束,就不能简单采用 Latest-Wins。

所以 消息合并本身也需要考虑语义和因果关系。

两条流可以持有不同的状态版本:

Interaction State:v3
Reasoning State: v1

需要回答:

  • 谁拥有权威认知状态?
  • Reasoning 读取的是快照还是共享可变状态?
  • Interaction 的新信息什么时候传播?
  • Reasoning 是否需要重新读取状态?
  • 如何避免两条流相互覆盖状态?

传统系统通常使用 Actor、不可变快照、版本管理和乐观并发控制等机制解决确定性状态访问问题。

但对于认知状态,还有一个特殊问题:

系统可能知道状态发生了变化,却不知道哪些推理结论受到影响。

这需要额外的语义依赖判断。

Reasoning 可以独立推进,意味着它的生命周期也可能与当前交互不同步。

例如:

T0:用户要求分析 A
T1:Reasoning A 开始
T2:用户放弃 A,改问 B
T3:Reasoning A 仍然运行
T4:Reasoning A 完成

现在需要决定:

Reasoning A 是否应当取消?如果已经完成,是否保留结果?如果它调用过工具,取消是否能撤销副作用?

还会出现其他问题:

  • Orphan Execution:交互已经结束,但推理仍在运行。
  • Cancellation Race:取消指令与完成事件几乎同时发生。
  • Duplicate Execution:重试或重启时重复执行同一操作。
  • Failure Recovery:后台推理失败或服务重启后如何恢复。
  • Resource Leak:不再使用的推理上下文继续占用显存。

这些都是传统异步任务系统中非常常见的问题。

这是 State 和 Lifecycle 在结果消费阶段的体现。

Reasoning 基于旧条件完成了分析,Interaction 应该如何处理?

结果到达后的处理可以分成三步:

  • Result Arrived:结果带着执行 ID 和它依赖的状态版本到达。
  • Applicability Check:判断它是否仍适用于当前目标与状态。
  • Apply / Reconcile / Reject:直接使用、部分修正,或不应用。

这里特别要区分两个时刻:

Result Arrival:异步推理结果到达。

Result Application:系统决定将其作为当前结论、行动依据或状态更新。

两者不应该默认等同。

因为旧结果即使不能用于当前决策,也可能作为历史信息保留。

6.9 还有两个双流特有的重要问题

Section titled “6.9 还有两个双流特有的重要问题”

上面六类主要是传统异步并发系统已有的工程问题。

但如果双流是两个具有语义理解能力的推理流,我认为还要额外关注:

Cognitive Consistency:认知一致性

Interaction 已经对用户确认按张江来看,但 Reasoning 仍然按陆家嘴计算。

这种不一致不仅存在于共享变量,也存在于两条推理流对目标、上下文和结论的不同理解中。

即使系统版本和消息顺序完全正确,模型仍可能错误地理解新信息。

因此,传统并发控制不能完全保证认知一致性。

Reasoning Progress Preservation:推理进度保留

当用户提出新的约束时,系统可以直接取消后台推理并重启。

这在执行控制上相对简单,但可能造成大量计算浪费。

更理想的机制是判断:

  • 哪些推理可以继续使用?
  • 哪些推理需要重新计算?
  • 哪些中间状态可以安全复用?
  • 如何在复用计算的同时保证结果正确?

这与 1-2 第 1.3 节的 Incremental Adaptation 直接相关。

它不是传统 State Consistency 的简单替代,而是在保持正确性之外,进一步追求推理计算的有效复用。

6.10 如何把这些问题组织成系统设计?

Section titled “6.10 如何把这些问题组织成系统设计?”

先不要直接把所有问题交给一个复杂的 Task Controller。

可以将它们整理成三个基本问题域。

  • Execution Coordination:如何让两条流独立运行、分配资源、处理中断与生命周期?对应 Execution、Scheduling、Lifecycle。
  • Information Coordination:两条流之间交换什么、何时交换、如何建立因果关系?对应 Communication、State。
  • Cognitive Coordination:新信息如何影响旧推理?结果是否有效?如何保留推理进度?对应 Consistency、Semantic Validity、Incremental Adaptation。

这三个问题域分别涉及不同的技术:

问题域可借鉴的已有技术
Execution CoordinationAsync Runtime、Scheduler、Preemption、Cancellation
Information CoordinationMessage Passing、Actor、Event Log、Snapshot、Versioning
Cognitive CoordinationSteering、Dependency Tracking、Semantic Reconciliation、Incremental Reasoning

7. 持续推理能替双流解决什么?

Section titled “7. 持续推理能替双流解决什么?”

持续推理(1-1)可以解决双流架构中的一部分问题,但它不是为双流的异步与并发问题设计的。

双流问题持续推理能否解决?说明
Execution Control部分可以支持推理调整,但暂停、取消、恢复仍需要执行机制
Scheduling不能直接GPU 资源竞争、优先级需要 Runtime 处理
Communication部分可以更自然地吸收新信息,但不自动解决消息传递与顺序
State Management部分可以维护认知状态,但仍需管理共享状态与版本
Lifecycle不能直接取消、失败恢复、执行清理属于 Runtime 职责
Result Consistency部分可以修正推理,但不保证异步结果与当前状态一致

另外两个我们特别关心的认知问题:

认知问题持续推理的价值
Cognitive Consistency有助于持续吸收新约束、修正旧结论,但不自动保证一致性
Reasoning Progress Preservation核心潜在优势:增量利用有效推理,减少重算

因此,持续推理真正直接针对的是 Reasoning Adaptation,而不是双流并发控制的全部问题。

考虑两种架构。

Dual stream: discrete versus continuous reasoning

A. 双流 + 离散推理

Interaction 始终保持响应。

当用户输入新约束时,系统通过 Steering、Interrupt 或下一次推理调用让 Reasoning 更新。

这需要 Runtime 协调,但不要求模型原生支持持续推理。

B. 双流 + 持续推理

区别在于,Reasoning 不一定需要等待完整的离散推理结束,而可以在更细粒度的边界吸收新信息。

但是,两条流依然可能发生:

  • 计算资源竞争。
  • 状态更新冲突。
  • 旧工具结果返回。
  • 推理取消与完成事件竞态。
  • 交互状态与深度推理状态不一致。

即使 Reasoning 本身是连续的,这些问题仍然存在。

7.3 持续推理实际上是在减少哪些双流协调成本?

Section titled “7.3 持续推理实际上是在减少哪些双流协调成本?”

我认为主要是三个。

第一,降低信息同步延迟。

离散推理可能需要等到下一次模型调用才能处理新输入。

持续推理可以尝试在更细粒度的推理边界吸收更新。

第二,减少频繁 Steering / Restart 的开销。

如果持续推理支持有效的增量状态调整,就可以避免每次新输入都重新开始长推理。

但这不是所有持续推理模型天然具备的能力。

第三,降低认知状态分裂的时间。

Interaction 已经知道公司改在张江,而 Reasoning 仍然按陆家嘴推理。

持续推理可以缩短这种认知分歧持续的时间,但不能单靠这一机制保证两者永远一致。

7.4 那真正能够解决双流问题的是什么?

Section titled “7.4 那真正能够解决双流问题的是什么?”

我认为需要两个层次共同工作。

Runtime Coordination 负责执行调度、通信、生命周期与确定性状态一致性。

Model Cognitive Adaptation 负责理解新输入如何影响正在进行的推理、如何修正结论、如何保留有效认知。

两者的关系可以表达为:

Dual-Stream Coordination=Runtime Coordination+Cognitive Adaptation\text{Dual-Stream Coordination} = \text{Runtime Coordination} + \text{Cognitive Adaptation}

这只是概念划分,不是说必须有两个独立模块。

持续推理模型不是双流异步并发问题的通用解决方案,而是降低双流之间“认知协调成本”的一种候选技术。

如果未来 Deep Reasoning 足够快,离散推理加上轻量级状态管理和 Steering,也可能达到类似的交互效果。

所以我们可以把研究问题收敛为两个:

系统层:如何让交互和深度推理独立推进,却保持协调?

模型层:当新信息到达时,如何以最低延迟和计算成本,正确更新正在进行的推理?

前者是双流系统设计问题;后者才是持续推理模型的核心研究问题。

8.1 Interaction 与 Reasoning 是否需要独立的推理状态?

Section titled “8.1 Interaction 与 Reasoning 是否需要独立的推理状态?”

逻辑上,两者有不同时间尺度和信息需求。

但它们可以共享模型权重,并不一定需要完全独立的认知状态。

真正需要研究的是:

既能让交互快速推进,又能让深度推理保持连续的最小状态分离程度是多少?

过度共享可能导致计算阻塞。

过度隔离又可能增加状态同步与认知不一致的问题。

至于两条流为什么要分开,理由来自任务难度的分布,而不是推理速度。深度推理的计算量随问题难度增长,硬件再快,也总有一类任务的推理时间远超交互节奏。推理还在跑时,需要有东西先回应用户(见 1-2 第 2 节)。

8.2 推理状态应该什么时候同步?

Section titled “8.2 推理状态应该什么时候同步?”

如果 Interaction Stream 每隔很短时间更新一次输入理解,Reasoning Stream 是否也应该按同样频率读取?

未必。

频繁同步会增加开销,也可能让尚未稳定的用户语义过早干扰推理。

但同步间隔过长,又会增加新要求的生效延迟。

因此,需要研究动态状态同步机制,而不是固定地为每个音频块执行一次深度推理更新。

同步还涉及一个设计选择:用户输入是经交互流转发,还是同时交给两条流?

经交互流转发增量同时交给两条流
信息有损:交互流理解错了,推理流也跟着错无损:推理流看到原话
推理流受到的干扰少:附和、填充词、追问由交互流处理多:每个音频块都会打扰推理
同步频率交互流控制,语义稳定了再发被输入节奏推着走
延迟多一步:先理解,再写成增量少一步
一致性只有一份理解两条流对同一句话可能理解不同

一种折中是:通知走增量,内容按引用取。交互流判断哪些输入影响推理、什么时候同步,增量里带上输入的位置(例如”constraint: office = Zhangjiang,来源:用户第 2 句”);原始输入放在两条流都能读的共享记录里,推理流觉得增量不够时再读原话。转发要求交互流知道推理依赖哪些前提,这可以由推理流在开始时往上声明,例如”依赖公司位置”。

8.3 多个逻辑推理流如何共享状态?

Section titled “8.3 多个逻辑推理流如何共享状态?”

如果交互流与长期推理流同时运行:

  • 谁维护当前目标?
  • 如何通知另一个流新的约束?
  • 如何防止两个流对同一任务产生矛盾判断?
  • 是否需要共享的显式任务状态?

这将直接影响未来统一模型与 Runtime 的接口设计。最小状态分离程度和同步时机,见 8.1 节和 8.2 节。

双流架构会使异步和并发问题成为必须考虑的设计事项,但并非所有问题都会在每种实现中同时出现。

例如,如果两个流不共享任何可变状态,状态冲突就会显著减少;如果各自使用独立 GPU,计算资源竞争也可以减轻。

我认为有必要把问题分成两层:

  • 传统异步并发问题:执行调度、通信顺序、共享状态、生命周期、过期结果、故障恢复。

  • 智能推理特有的问题:认知状态同步、语义结果有效性、推理进度复用,以及新输入对正在进行的推理产生什么影响。

前一层已经有很多成熟的工程方案。

后一层才是我们研究持续推理时更有价值的创新空间。

一个核心判断是:双流架构最难的地方不是让两条流同时运行,而是在两条流独立推进的情况下,仍然让它们表现得像一个具有统一认知状态的智能体。

Footnotes
  1. DeepSeek. (2026). Super-agent 设计探索:迈向更自主的 Agent 系统. 异步工具执行与 Agent Loop 解耦。 ↩

  2. Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 ↩