跳转到内容

Interactive Agent3-0 · 架构方案

三种架构:单一序列、共享模型双流与帧间隐向量

比较把深度推理放进全双工模型的三种架构:单一自回归序列、共享模型的双推理流、按时间对齐的序列加帧间隐向量;快速离散推理和两个独立模型是它们的退化情况。

更新于 阅读约 9 分钟

持续推理和双流是两个独立的设计决定,具体架构是两者的组合。本文比较三种:方案 A 单一自回归序列,方案 B 共享模型的双推理流,方案 C1 按时间对齐的序列加帧间隐向量;快速离散推理和两个独立模型是它们的退化情况。单独写一篇,是因为这些架构同时涉及两个轴,放进任何一条线都会撕开比较。读完知道每种架构把推理放在哪、交互和推理怎么并发、状态怎么共享、预算怎么表示,以及各自的主要挑战。

全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

持续推理决定”新输入能不能进入进行中的推理”,双流决定”交互和推理要不要分成两条流”(1-0、2-0)。两个决定的四种组合各有对应的架构:

单流双流
推理离散快速离散推理两个模型(3-1 GPT-Live + Codex)
推理持续方案 A、方案 C1方案 B

本文比较下面三格里的方案 A、B、C1。快速离散推理是 A 或 B 的退化情况:每次输入变化都重新跑一遍推理,只在推理时间短于输入变化间隔时有效(1-2 第 2 节)。两个模型是 B 的过渡形态:两条流不共享参数,推理流按离散调用运行,3-1 单独讲。

比较之前先说清一个前提:这些架构都要把用户音频、模型语音和推理放进序列,而这几样东西在时间上是重叠的。

2. Multi-Stream:为什么需要多流模型?

Section titled “2. Multi-Stream:为什么需要多流模型?”

传统语言模型通常将输入组织为单一序列。

即使输入包含音频或图像,也可能经过编码后按特定顺序送入模型。

这种方式非常适合离线推理,但当用户音频、模型语音、视频和工具事件同时发生时,简单的线性排列容易丢失它们原有的时间关系。

例如:

用户正在说话,模型同时发出简短回应。

如果将其强行表示为:

User Speech → Model Speech

就无法准确表达两者其实发生了重叠。

因此,实时交互模型需要某种方式表示多个流之间的同步、重叠和因果关系。

Multi-Stream 可以有不同实现形式。

例如:

  • 多条时间对齐的模态 Token 流。
  • 一个模型处理多个逻辑流。
  • 多模态输入通过融合模块进入统一表示。
  • 不同流使用不同更新频率。
  • 通过分块或微轮次进行增量处理。

所以,不能简单地将 Multi-Stream 理解为“一个音频模型加一个文本模型”。

它首先是一种输入输出与时间信息的组织方式。

假设用户说:

“你看这里是不是有问题?”

与此同时,用户在屏幕上选中了某一段代码。

模型需要理解:

  • “这里”对应哪一段屏幕内容?
  • 选中动作与语音发生在什么时间?
  • 用户是在提出新问题,还是修改已有问题?

仅依赖文字转录不足以完整表达这一场景。

因此,未来模型需要更自然地融合语音、视觉、用户行为与工具事件。

这也是模型走向 Temporal Awareness(时间感知)的重要原因。

3. 方案 A:统一自回归 Token 序列

Section titled “3. 方案 A:统一自回归 Token 序列”

最直接的方法是将用户输入、交互输出和深度推理都组织成一条自回归序列。

Architecture A as one token sequence: input, speech, reasoning and tool calls on one decode path

这种设计保留了自回归模型的统一形式。

模型可以通过一个联合分布预测不同类型的输出内容。

优势

训练目标相对统一,能够直接学习交互内容和推理内容之间的关系。

主要问题

如果全部生成都竞争同一条串行 Decode 路径,那么长时间 Reasoning Token 生成容易影响实时语音输出。

例如,模型需要先生成大量内部推理 Token,才能获得下一次语音输出机会。

模型可以在推理中途关闭推理段,先说一句”好的,张江”,再重新打开继续推理,如上图。但说话和推理只能轮流来:说话时推理暂停;正在写一段很长的推理时,中间仍然插不进语音。而且模型要在训练中学会在合适的时候跳出推理。

这与低延迟交互要求存在明显张力。

因此,单序列方案需要更细粒度的时间组织和计算调度,不能简单地把两种 Token 拼在一起。

这是本文比较的三种方案里的第二种:让模型共享参数,但拥有两个逻辑推理流。

Architecture B: one shared model runs an interaction stream and a reasoning stream with separate contexts and different paces; both read and update a shared cognitive state

这里模型可以共享一套权重,但两个流拥有相对独立的推理上下文和计算进度。

落到序列上,方案 B 有两条序列:交互序列按固定的帧时钟推进,推理序列按自己的节奏写,两者之间只传递简短的消息,不传推理过程:

Architecture B as two token sequences, interaction and reasoning, linked by small messages

消息本身也是 Token:一小段由特殊 Token 包住的内容,例如推理序列生成 <to_interaction> applied: office = Zhangjiang </to_interaction>,Runtime 识别后把它复制进交互序列,作为一段输入插入。内容要用普通 Token 写,因为要携带具体信息(哪条约束生效、结论是什么、把握多大),单个特殊 Token 装不下。这符合 1-3 第 1.3 节的规则:要另一方接收的内容必须显式输出。

推理序列里全是推理,所以不需要 <think> 这类类型标记。图中”好的,张江”说在约束生效之前,这正是 2-1 第 4.1 节需要生效确认的原因。图里的”共享认知状态”并不是第三条序列,而是两条序列之间的消息,加上一份两边都能按引用读取的原始输入记录(2-1 第 8.2 节)。

主要优势是:深度推理不需要占据交互输出的整个时间线。

例如,Reasoning Stream 正在生成大量推理 Token,Interaction Stream 仍然可以快速响应用户的简短问题。

但这种方式带来新的挑战:

  • 两条推理流什么时候同步?
  • 如何更新共享认知状态?
  • 新输入应该改变哪条流?
  • 如果深度推理使用旧约束,如何纠正?
  • 旧结果晚到:用户改口之前算出的结果,可能在改口之后才送到交互序列,被当成新结果。单一序列没有这个问题,两个独立模型也有。

因此,这种架构不仅需要模型能够处理不同推理流,还需要相应的 Inference Runtime 支持。

5. 方案 C1:统一输出流与帧间隐向量

Section titled “5. 方案 C1:统一输出流与帧间隐向量”

第三种方案更加激进。

深度推理不必表示为显式的文字推理 Token,而可以在隐向量上进行。

本文只考虑一种实现:仍然是一条按时间对齐的自回归序列,但在音频帧之间插入若干不对应文字的隐向量位置(latent slot),推理就在这些位置上进行,做法类似 Coconut11 Hao, S., et al. (2024). Training Large Language Models to Reason in a Continuous Latent Space. Coconut,连续潜在空间推理的代表性研究。 :

Architecture C1 as one time-aligned sequence with latent reasoning slots between audio frames

每一帧依次是:用户音频、模型语音(可以是沉默)、若干隐向量位置,以及需要时的显式 Token(工具调用、取消)。

  • 推理预算就是每帧插入多少个隐向量位置:问题复杂、或刚收到修正时多插几个,需要马上回答时少插。
  • 新输入直接进入同一条序列,之后的隐向量位置自然能看到它,不需要另外转发。
  • 语音保持帧时钟:推理分散在每一帧之间,不会像方案 A 那样,一段长推理把下一次语音推迟很久。

用循环结构直接改写一个固定大小的状态,是另一种实现,本文不讨论。

C1 仍然是自回归的:每个位置只看它之前的位置,前缀只能追加,KV Cache 照常可用。但三种位置的来源不同:用户音频是外部输入;语音和显式 Token 像普通自回归一样,预测分布后采样一个离散 Token;隐向量位置不采样,而是把上一步最后一层的隐状态直接当作下一个位置的输入,是一种”连续的自回归”。

它的潜在优势是:

深度推理不再必须占用大量显式文本 Token 的串行生成时间。

但也存在明显挑战:

首先,隐向量上的推理如何训练和监督?隐向量位置没有”下一个 Token 应该是什么”这样的目标,只能靠之后的语音和答案是否正确来间接监督;它的输入又取决于上一步算出的隐状态,训练时不能像普通 Token 那样并行地 teacher forcing,只能逐步前向计算。Coconut 另外用分阶段的课程式训练,逐步把文字推理步骤换成隐向量,说明这种能力不能直接从普通推理数据学到。

其次,模型如何判断当前推理已经足够,每帧该插几个隐向量位置?

再次,新输入到达后,之后的隐向量能否只修正受影响的部分,而不破坏其他有效内容?

最后,推理过程不可读,调试、可解释性和推理预算的控制都会更困难。

所以,这是一条有研究价值的方向,但不能直接认定它一定优于显式 Reasoning Token。

维度单一自回归(Autoregressive, AR)序列共享模型双流Latent Reasoning
序列1 条2 条(交互、推理)1 条,按时间对齐
推理表示显式 Token推理序列里的显式 Token帧间的隐向量位置
交互与推理并发依赖序列调度可以逻辑独立推进帧内交替,语音保持帧时钟
状态共享序列上下文两条序列之间的消息同一条序列
推理预算Token 生成预算推理序列自己的预算每帧插入的隐向量个数
主要挑战长推理阻塞音频状态一致性训练、可控性与状态有效性

这三种方式也并不完全互斥。

未来模型可能同时使用多流生成、显式推理 Token 和一定程度的隐式内部计算。

7. 一个理想统一全双工模型的可能架构

Section titled “7. 一个理想统一全双工模型的可能架构”

结合前面的分析,我认为未来模型应该具备以下能力。

Unified full-duplex model architecture

这是一个概念上的模型能力架构,不代表六个模块必须各自对应独立网络。

未来可能通过统一 Transformer、专门的模态模块、多个逻辑推理流,或其他尚未成熟的结构实现这些能力。

我认为最重要的不是它有多少参数,而是以下五个性质。

  1. 持续感知:模型能够保持对外部事件的开放输入,而非只处理封闭的 Prompt。
  2. 时间感知:能够理解停顿、重叠、先后顺序和事件有效性。
  3. 认知可干预:新信息能够及时影响正在进行的决策,而不是只能等下一次完整任务。
  4. 多时间尺度推理:即时响应和复杂推理不必共享一个不可中断的执行周期。
  5. 持续行动能力:模型能够理解未完成的外部行动,并根据新事件调整后续目标与策略。

这些性质共同决定了模型能否成为真正的 Interactive Agent。

推理计算与 Latent Reasoning:Pause Tokens22 Goyal, S., et al. (2024). Think before you speak: Training Language Models With Pause Tokens. ICLR 2024. 通过额外计算步骤改进模型推理的研究。 与 Coconut。1

Footnotes
  1. Hao, S., et al. (2024). Training Large Language Models to Reason in a Continuous Latent Space. Coconut,连续潜在空间推理的代表性研究。 ↩ ↩2

  2. Goyal, S., et al. (2024). Think before you speak: Training Language Models With Pause Tokens. ICLR 2024. 通过额外计算步骤改进模型推理的研究。 ↩