实时交互和深度推理为什么要分成两条流,分流解决什么、引入什么问题;两条流之间怎么耦合;持续推理能替双流省掉哪些协调成本,省不掉哪些。
深度推理的时长由任务难度决定,总有任务的推理时间远超交互节奏;推理还在跑时,需要有东西先回应用户。把交互和推理分成两条流,就是对这件事的回答。本文先讲为什么分流、分流解决了什么,再讲两条流之间怎么耦合,最后按传统异步并发的六个维度,加上双流特有的两个问题,列出分流引入了什么。持续推理(1-0 到 1-4)和双流是两个独立的轴:持续推理只是双流里”推理流怎么吸收新约束”这一个问题的候选解,第 7 节单独讲它能省掉哪些协调成本。
全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。
1. 为什么需要分流?
Section titled “1. 为什么需要分流?”1.1 认知活动具有不同的时间尺度
Section titled “1.1 认知活动具有不同的时间尺度”实时对话中的一些行为只需要很短的响应时间。
例如:
- 简短确认。
- 停止当前语音输出。
- 判断用户是否在打断。
- 提醒用户某个任务已经完成。
但另一些任务可能需要大量计算:
- 深入分析代码仓库。
- 证明一个数学结论。
- 规划复杂软件架构。
- 长时间搜索和整合资料。
这些活动的计算需求完全不同。
如果模型只有一个不可中断的推理流,复杂任务就可能影响即时回应。
1.2 为什么强大的单模型仍需要分流?
Section titled “1.2 为什么强大的单模型仍需要分流?”假设同一个模型同时承担:
- 任务 A:正在进行深度推理。
- 任务 B:用户突然提出即时问题。
如果模型推理引擎无法暂停 A 或在 A 运行时服务 B,那么 B 只能等待。
这说明:
模型参数统一,并不自动意味着推理执行能够并发。
B 要等,原因不在算力:深度推理的时间由任务难度决定,总有任务超过交互节奏,所以交互与推理要分流(1-2 第 2 节)。A 在推理期间,前提也可能被 B 改掉(1-2 第 1 节)。
所以要研究两件事:交互与推理如何分流(本文),以及模型如何在推理进行中吸收新输入(1-0 到 1-4)。
2. 为什么 Async ReAct 还不能完全解决实时交互?
Section titled “2. 为什么 Async ReAct 还不能完全解决实时交互?”DeepSeek 在《Super-agent 设计探索》中提出通过异步工具执行,让 Agent Loop 不必在长时间操作期间一直等待。11 DeepSeek. (2026). Super-agent 设计探索:迈向更自主的 Agent 系统. 异步工具执行与 Agent Loop 解耦。
Thinking Machines 的 Interaction Models 则进一步探索了模型原生的连续多模态交互。22 Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。
两者反映了不同层面的改造。
2.1 系统层的连续性
Section titled “2.1 系统层的连续性”即使后台模型仍然按离散调用运行,只要前台持续响应,用户就可以获得连续的交互体验。
例如:
这种架构可以很好地解决产品层面的交互阻塞。
但其深度推理过程可能仍然由多个离散的模型调用拼接而成。
2.2 模型层的连续性
Section titled “2.2 模型层的连续性”更理想的系统希望模型在持续认知过程中及时处理新信息。
例如,模型正在形成复杂推理,用户提供一个新约束,模型能够及时调整后续计算,而无需总是等待完整输出、重新构建上下文。
这就是持续推理(1-0)。
不过,持续推理不等于全部推理必须始终驻留 GPU,也不意味着所有历史计算必须被保留。
模型仍可能暂停、重算或丢弃过期推理。
真正的目标是,在保证正确性的前提下,降低新信息生效的延迟及其计算代价。
3. 三条逻辑时间线
Section titled “3. 三条逻辑时间线”为了理解交互与推理如何并行推进,可以先考虑三条逻辑时间线:
- User Input Stream:用户持续输入的音频。
- Interaction Stream:实时感知、交互理解和语音回应。
- Reasoning Stream:较长时间尺度的深度推理。
外部工具结果可以作为第四类异步输入进入系统。
逻辑示意:交互处理保持低延迟,深度推理可以持续推进,并在新输入或外部观察到达后调整。这里不预设模型内部有两个物理独立的推理实例。
4. Interaction × Reasoning
Section titled “4. Interaction × Reasoning”4.1 两条具有不同时间尺度的推理活动
Section titled “4.1 两条具有不同时间尺度的推理活动”本文把模型推理划分为两个逻辑流:
- Interaction Stream:持续理解用户输入,并负责实时表达。
- Reasoning Stream:执行复杂、耗时较长的推理。
两者可以共享模型参数,也可以通过不同的推理上下文运行。这里暂时不限制具体实现。
概念示意:交互推理持续跟踪输入,深度推理具有独立的计算进度;新输入与中间结论在两个方向上传播。
两条流之间需要支持双向影响。
Interaction → Reasoning:用户提供新的条件、纠正或补充信息,影响正在进行的推理。
Reasoning → Interaction:深度推理产生阶段性发现,交互流据此改变回应内容和表达时机。
例如模型正在分析一个问题,用户询问:
目前有什么结论?
交互流不一定需要等待全部深度推理结束,而是可以利用已经得到、且有足够依据的阶段性结果回答。
Reasoning → Interaction 还有一种返回:约束已生效的确认。用户纠正公司位置后,交互流可以马上回答”好的,张江”,但推理流要到下一个推理步才开始按张江计算。在这段时间差里,推理流产出的仍是按陆家嘴得出的结论。所以约束生效时,推理流要往上发一条确认(图中的 applied: office = Zhangjiang),交互流据此知道,之后的阶段性结论可以用来回答用户。
4.2 两条流不应该完全独立
Section titled “4.2 两条流不应该完全独立”如果两条流只在最终结果产生时交换信息,那么实际上仍接近传统异步委派。
更理想的机制是允许两者持续交换认知状态的增量变化。
不过,这里不一定需要将全部 Reasoning Tokens 直接发送给 Interaction Stream。
因为交互流未必需要完整的内部推理过程。
它更可能需要:
- 当前问题理解。
- 重要的阶段性结论。
- 尚未解决的不确定性。
- 对原有推理方向的关键修正。
- 当前能否安全地给用户回答。
因此,共享信息不一定是完整推理序列,也可能是经过压缩的认知状态表示。
这是一项值得研究的模型设计选择。
5. 方案 B 和它特有的问题
Section titled “5. 方案 B 和它特有的问题”共享模型、双推理流的方案(方案 B)是 3-0 比较的三种架构之一:两条序列,交互序列按固定的帧时钟推进,推理序列按自己的节奏写,两者之间只传递简短的消息,不传推理过程。序列形式、消息的样子和它的挑战,3-0 第 4 节讲。
这里只记一个双流特有、还没有解法的问题:
- 旧结果晚到:用户改口之前算出的结果,可能在改口之后才送到交互序列,被当成新结果。单一序列没有这个问题;两个独立模型也有。
6. 双流引入了哪些问题?
Section titled “6. 双流引入了哪些问题?”两条流各自推进之后,传统异步与并发系统的一整套问题都会出现。下面先按六个维度列出,再加上两个双流特有的问题。
6.1 双流架构究竟引入了什么?
Section titled “6.1 双流架构究竟引入了什么?”传统单流推理通常具有明确的执行顺序:
Input → Reasoning → Output → Next Input而双流允许:
Interaction 持续处理输入,Reasoning 独立推进。与此同时,用户可能修改要求,Reasoning 也可能返回中间结果。
因此,系统不再天然拥有一个统一的执行顺序和状态视图。
核心问题变成:两个具有不同时间尺度的执行流,如何安全、高效地共同推进一项持续变化的认知活动?
6.2 双流的六类核心问题
Section titled “6.2 双流的六类核心问题”| 维度 | 具体问题 | 典型例子 |
|---|---|---|
| 1. Execution | 如何启动、暂停、恢复和中断推理? | 用户修改要求,旧推理是否继续 |
| 2. Scheduling | 两条流如何竞争计算资源? | Deep Reasoning 占用 GPU,语音回复延迟 |
| 3. Communication | 信息如何在两条流之间传递? | Interaction 何时通知 Reasoning 新约束 |
| 4. State | 两条流如何维护与共享认知状态? | Interaction 已更新目标,Reasoning 仍使用旧上下文 |
| 5. Lifecycle | 推理活动何时结束、取消或重启? | 用户不再需要结果,但后台仍然运行 |
| 6. Consistency | 如何处理过期结果和冲突? | 按陆家嘴算出的结果覆盖按张江得出的结论 |
这六个维度不是完全独立的。例如,状态同步涉及 Communication 与 State,过期结果则同时涉及 Lifecycle 和 Consistency。
下面具体展开。
6.3 Execution:执行控制问题
Section titled “6.3 Execution:执行控制问题”首先,两条流有不同的执行进度。
Interaction 可能已经处理了多轮用户输入,而 Reasoning 仍然在完成最初的问题。
这会产生几个问题:
- Preemption:是否需要抢占正在进行的推理?
- Steering:如何把新输入注入当前推理?
- Resume:暂停后从哪里继续?
- Restart:哪些情况下必须重新推理?
- Fork:能否保留旧推理,同时开启另一个方向?
例如:
Reasoning A ━━━━━━━━━━━━━━━━━━━ ▲ │ 新约束 B此时不一定总要中断。
可以继续 A 并在后续吸收 B,也可以中断重启,或者开启一条新推理分支。
这里的困难是:哪个控制操作最合适,既取决于新输入的语义,也取决于当前的计算状态。
6.4 Scheduling:计算资源调度问题
Section titled “6.4 Scheduling:计算资源调度问题”Interaction 对延迟敏感,Reasoning 对计算吞吐量和推理质量敏感。
如果它们共享同一张 GPU,就可能发生资源竞争。
两种调度策略:策略 A 让深度推理长时间占用资源;策略 B 为实时交互保留定期执行机会。这里说的是逻辑计算资源分配,不代表 GPU Kernel 可以在任意时刻抢占。
具体问题包括实时任务的尾延迟、调度优先级、GPU 计算与显存竞争、频繁切换的开销,以及后台推理是否会因为前台过于繁忙而饥饿。
双流能够逻辑并发,并不意味着一定能满足实时性要求。
6.5 Communication:跨流通信问题
Section titled “6.5 Communication:跨流通信问题”Interaction 获得新信息后,什么时候发送给 Reasoning?
这里至少涉及四个问题:
| 问题 | 解释 |
|---|---|
| Message Timing | 每个音频片段都发送,还是只发送重要语义变化? |
| Ordering | 多条更新是否按正确顺序被处理? |
| Delivery | 消息如何确认接收,如何避免丢失或重复处理? |
| Backpressure | 用户输入变化速度超过 Reasoning 处理能力怎么办? |
例如用户在短时间内连续修正三个条件。
Interaction:A → B → C → D
Reasoning:A ────── B ────── ?如果 Reasoning 处理更新的速度远低于 Interaction,系统就可能积累大量待处理消息。
一种方案是合并更新,让 Reasoning 直接处理最新的 D。
但如果 B、C 中包含不能省略的操作或约束,就不能简单采用 Latest-Wins。
所以 消息合并本身也需要考虑语义和因果关系。
6.6 State:共享状态问题
Section titled “6.6 State:共享状态问题”两条流可以持有不同的状态版本:
Interaction State:v3Reasoning State: v1需要回答:
- 谁拥有权威认知状态?
- Reasoning 读取的是快照还是共享可变状态?
- Interaction 的新信息什么时候传播?
- Reasoning 是否需要重新读取状态?
- 如何避免两条流相互覆盖状态?
传统系统通常使用 Actor、不可变快照、版本管理和乐观并发控制等机制解决确定性状态访问问题。
但对于认知状态,还有一个特殊问题:
系统可能知道状态发生了变化,却不知道哪些推理结论受到影响。
这需要额外的语义依赖判断。
6.7 Lifecycle:生命周期管理问题
Section titled “6.7 Lifecycle:生命周期管理问题”Reasoning 可以独立推进,意味着它的生命周期也可能与当前交互不同步。
例如:
T0:用户要求分析 AT1:Reasoning A 开始T2:用户放弃 A,改问 BT3:Reasoning A 仍然运行T4:Reasoning A 完成现在需要决定:
Reasoning A 是否应当取消?如果已经完成,是否保留结果?如果它调用过工具,取消是否能撤销副作用?
还会出现其他问题:
- Orphan Execution:交互已经结束,但推理仍在运行。
- Cancellation Race:取消指令与完成事件几乎同时发生。
- Duplicate Execution:重试或重启时重复执行同一操作。
- Failure Recovery:后台推理失败或服务重启后如何恢复。
- Resource Leak:不再使用的推理上下文继续占用显存。
这些都是传统异步任务系统中非常常见的问题。
6.8 Consistency:结果一致性问题
Section titled “6.8 Consistency:结果一致性问题”这是 State 和 Lifecycle 在结果消费阶段的体现。
Reasoning 基于旧条件完成了分析,Interaction 应该如何处理?
结果到达后的处理可以分成三步:
- Result Arrived:结果带着执行 ID 和它依赖的状态版本到达。
- Applicability Check:判断它是否仍适用于当前目标与状态。
- Apply / Reconcile / Reject:直接使用、部分修正,或不应用。
这里特别要区分两个时刻:
Result Arrival:异步推理结果到达。
Result Application:系统决定将其作为当前结论、行动依据或状态更新。
两者不应该默认等同。
因为旧结果即使不能用于当前决策,也可能作为历史信息保留。
6.9 还有两个双流特有的重要问题
Section titled “6.9 还有两个双流特有的重要问题”上面六类主要是传统异步并发系统已有的工程问题。
但如果双流是两个具有语义理解能力的推理流,我认为还要额外关注:
Cognitive Consistency:认知一致性
Interaction 已经对用户确认按张江来看,但 Reasoning 仍然按陆家嘴计算。
这种不一致不仅存在于共享变量,也存在于两条推理流对目标、上下文和结论的不同理解中。
即使系统版本和消息顺序完全正确,模型仍可能错误地理解新信息。
因此,传统并发控制不能完全保证认知一致性。
Reasoning Progress Preservation:推理进度保留
当用户提出新的约束时,系统可以直接取消后台推理并重启。
这在执行控制上相对简单,但可能造成大量计算浪费。
更理想的机制是判断:
- 哪些推理可以继续使用?
- 哪些推理需要重新计算?
- 哪些中间状态可以安全复用?
- 如何在复用计算的同时保证结果正确?
这与 1-2 第 1.3 节的 Incremental Adaptation 直接相关。
它不是传统 State Consistency 的简单替代,而是在保持正确性之外,进一步追求推理计算的有效复用。
6.10 如何把这些问题组织成系统设计?
Section titled “6.10 如何把这些问题组织成系统设计?”先不要直接把所有问题交给一个复杂的 Task Controller。
可以将它们整理成三个基本问题域。
- Execution Coordination:如何让两条流独立运行、分配资源、处理中断与生命周期?对应 Execution、Scheduling、Lifecycle。
- Information Coordination:两条流之间交换什么、何时交换、如何建立因果关系?对应 Communication、State。
- Cognitive Coordination:新信息如何影响旧推理?结果是否有效?如何保留推理进度?对应 Consistency、Semantic Validity、Incremental Adaptation。
这三个问题域分别涉及不同的技术:
| 问题域 | 可借鉴的已有技术 |
|---|---|
| Execution Coordination | Async Runtime、Scheduler、Preemption、Cancellation |
| Information Coordination | Message Passing、Actor、Event Log、Snapshot、Versioning |
| Cognitive Coordination | Steering、Dependency Tracking、Semantic Reconciliation、Incremental Reasoning |
7. 持续推理能替双流解决什么?
Section titled “7. 持续推理能替双流解决什么?”持续推理(1-1)可以解决双流架构中的一部分问题,但它不是为双流的异步与并发问题设计的。
7.1 对照第 6 节的双流问题
Section titled “7.1 对照第 6 节的双流问题”| 双流问题 | 持续推理能否解决? | 说明 |
|---|---|---|
| Execution Control | 部分 | 可以支持推理调整,但暂停、取消、恢复仍需要执行机制 |
| Scheduling | 不能直接 | GPU 资源竞争、优先级需要 Runtime 处理 |
| Communication | 部分 | 可以更自然地吸收新信息,但不自动解决消息传递与顺序 |
| State Management | 部分 | 可以维护认知状态,但仍需管理共享状态与版本 |
| Lifecycle | 不能直接 | 取消、失败恢复、执行清理属于 Runtime 职责 |
| Result Consistency | 部分 | 可以修正推理,但不保证异步结果与当前状态一致 |
另外两个我们特别关心的认知问题:
| 认知问题 | 持续推理的价值 |
|---|---|
| Cognitive Consistency | 有助于持续吸收新约束、修正旧结论,但不自动保证一致性 |
| Reasoning Progress Preservation | 核心潜在优势:增量利用有效推理,减少重算 |
因此,持续推理真正直接针对的是 Reasoning Adaptation,而不是双流并发控制的全部问题。
7.2 为什么两者不是一回事?
Section titled “7.2 为什么两者不是一回事?”考虑两种架构。
A. 双流 + 离散推理
Interaction 始终保持响应。
当用户输入新约束时,系统通过 Steering、Interrupt 或下一次推理调用让 Reasoning 更新。
这需要 Runtime 协调,但不要求模型原生支持持续推理。
B. 双流 + 持续推理
区别在于,Reasoning 不一定需要等待完整的离散推理结束,而可以在更细粒度的边界吸收新信息。
但是,两条流依然可能发生:
- 计算资源竞争。
- 状态更新冲突。
- 旧工具结果返回。
- 推理取消与完成事件竞态。
- 交互状态与深度推理状态不一致。
即使 Reasoning 本身是连续的,这些问题仍然存在。
7.3 持续推理实际上是在减少哪些双流协调成本?
Section titled “7.3 持续推理实际上是在减少哪些双流协调成本?”我认为主要是三个。
第一,降低信息同步延迟。
离散推理可能需要等到下一次模型调用才能处理新输入。
持续推理可以尝试在更细粒度的推理边界吸收更新。
第二,减少频繁 Steering / Restart 的开销。
如果持续推理支持有效的增量状态调整,就可以避免每次新输入都重新开始长推理。
但这不是所有持续推理模型天然具备的能力。
第三,降低认知状态分裂的时间。
Interaction 已经知道公司改在张江,而 Reasoning 仍然按陆家嘴推理。
持续推理可以缩短这种认知分歧持续的时间,但不能单靠这一机制保证两者永远一致。
7.4 那真正能够解决双流问题的是什么?
Section titled “7.4 那真正能够解决双流问题的是什么?”我认为需要两个层次共同工作。
Runtime Coordination 负责执行调度、通信、生命周期与确定性状态一致性。
Model Cognitive Adaptation 负责理解新输入如何影响正在进行的推理、如何修正结论、如何保留有效认知。
两者的关系可以表达为:
这只是概念划分,不是说必须有两个独立模块。
持续推理模型不是双流异步并发问题的通用解决方案,而是降低双流之间“认知协调成本”的一种候选技术。
如果未来 Deep Reasoning 足够快,离散推理加上轻量级状态管理和 Steering,也可能达到类似的交互效果。
所以我们可以把研究问题收敛为两个:
系统层:如何让交互和深度推理独立推进,却保持协调?
模型层:当新信息到达时,如何以最低延迟和计算成本,正确更新正在进行的推理?
前者是双流系统设计问题;后者才是持续推理模型的核心研究问题。
8. 尚未解决的关键问题
Section titled “8. 尚未解决的关键问题”8.1 Interaction 与 Reasoning 是否需要独立的推理状态?
Section titled “8.1 Interaction 与 Reasoning 是否需要独立的推理状态?”逻辑上,两者有不同时间尺度和信息需求。
但它们可以共享模型权重,并不一定需要完全独立的认知状态。
真正需要研究的是:
既能让交互快速推进,又能让深度推理保持连续的最小状态分离程度是多少?
过度共享可能导致计算阻塞。
过度隔离又可能增加状态同步与认知不一致的问题。
至于两条流为什么要分开,理由来自任务难度的分布,而不是推理速度。深度推理的计算量随问题难度增长,硬件再快,也总有一类任务的推理时间远超交互节奏。推理还在跑时,需要有东西先回应用户(见 1-2 第 2 节)。
8.2 推理状态应该什么时候同步?
Section titled “8.2 推理状态应该什么时候同步?”如果 Interaction Stream 每隔很短时间更新一次输入理解,Reasoning Stream 是否也应该按同样频率读取?
未必。
频繁同步会增加开销,也可能让尚未稳定的用户语义过早干扰推理。
但同步间隔过长,又会增加新要求的生效延迟。
因此,需要研究动态状态同步机制,而不是固定地为每个音频块执行一次深度推理更新。
同步还涉及一个设计选择:用户输入是经交互流转发,还是同时交给两条流?
| 经交互流转发增量 | 同时交给两条流 | |
|---|---|---|
| 信息 | 有损:交互流理解错了,推理流也跟着错 | 无损:推理流看到原话 |
| 推理流受到的干扰 | 少:附和、填充词、追问由交互流处理 | 多:每个音频块都会打扰推理 |
| 同步频率 | 交互流控制,语义稳定了再发 | 被输入节奏推着走 |
| 延迟 | 多一步:先理解,再写成增量 | 少一步 |
| 一致性 | 只有一份理解 | 两条流对同一句话可能理解不同 |
一种折中是:通知走增量,内容按引用取。交互流判断哪些输入影响推理、什么时候同步,增量里带上输入的位置(例如”constraint: office = Zhangjiang,来源:用户第 2 句”);原始输入放在两条流都能读的共享记录里,推理流觉得增量不够时再读原话。转发要求交互流知道推理依赖哪些前提,这可以由推理流在开始时往上声明,例如”依赖公司位置”。
8.3 多个逻辑推理流如何共享状态?
Section titled “8.3 多个逻辑推理流如何共享状态?”如果交互流与长期推理流同时运行:
- 谁维护当前目标?
- 如何通知另一个流新的约束?
- 如何防止两个流对同一任务产生矛盾判断?
- 是否需要共享的显式任务状态?
这将直接影响未来统一模型与 Runtime 的接口设计。最小状态分离程度和同步时机,见 8.1 节和 8.2 节。
双流架构会使异步和并发问题成为必须考虑的设计事项,但并非所有问题都会在每种实现中同时出现。
例如,如果两个流不共享任何可变状态,状态冲突就会显著减少;如果各自使用独立 GPU,计算资源竞争也可以减轻。
我认为有必要把问题分成两层:
-
传统异步并发问题:执行调度、通信顺序、共享状态、生命周期、过期结果、故障恢复。
-
智能推理特有的问题:认知状态同步、语义结果有效性、推理进度复用,以及新输入对正在进行的推理产生什么影响。
前一层已经有很多成熟的工程方案。
后一层才是我们研究持续推理时更有价值的创新空间。
一个核心判断是:双流架构最难的地方不是让两条流同时运行,而是在两条流独立推进的情况下,仍然让它们表现得像一个具有统一认知状态的智能体。
-
DeepSeek. (2026). Super-agent 设计探索:迈向更自主的 Agent 系统. 异步工具执行与 Agent Loop 解耦。 ↩
-
Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 ↩