Interactive Agent3-0 · 架构方案
三种架构:单一序列、共享模型双流与帧间隐向量
比较把深度推理放进全双工模型的三种架构:单一自回归序列、共享模型的双推理流、按时间对齐的序列加帧间隐向量;快速离散推理和两个独立模型是它们的退化情况。
持续推理和双流是两个独立的设计决定,具体架构是两者的组合。本文比较三种:方案 A 单一自回归序列,方案 B 共享模型的双推理流,方案 C1 按时间对齐的序列加帧间隐向量;快速离散推理和两个独立模型是它们的退化情况。单独写一篇,是因为这些架构同时涉及两个轴,放进任何一条线都会撕开比较。读完知道每种架构把推理放在哪、交互和推理怎么并发、状态怎么共享、预算怎么表示,以及各自的主要挑战。
全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。
1. 两个轴的四种组合
Section titled “1. 两个轴的四种组合”持续推理决定”新输入能不能进入进行中的推理”,双流决定”交互和推理要不要分成两条流”(1-0、2-0)。两个决定的四种组合各有对应的架构:
| 单流 | 双流 | |
|---|---|---|
| 推理离散 | 快速离散推理 | 两个模型(3-1 GPT-Live + Codex) |
| 推理持续 | 方案 A、方案 C1 | 方案 B |
本文比较下面三格里的方案 A、B、C1。快速离散推理是 A 或 B 的退化情况:每次输入变化都重新跑一遍推理,只在推理时间短于输入变化间隔时有效(1-2 第 2 节)。两个模型是 B 的过渡形态:两条流不共享参数,推理流按离散调用运行,3-1 单独讲。
比较之前先说清一个前提:这些架构都要把用户音频、模型语音和推理放进序列,而这几样东西在时间上是重叠的。
2. Multi-Stream:为什么需要多流模型?
Section titled “2. Multi-Stream:为什么需要多流模型?”2.1 单一 Token 流的局限
Section titled “2.1 单一 Token 流的局限”传统语言模型通常将输入组织为单一序列。
即使输入包含音频或图像,也可能经过编码后按特定顺序送入模型。
这种方式非常适合离线推理,但当用户音频、模型语音、视频和工具事件同时发生时,简单的线性排列容易丢失它们原有的时间关系。
例如:
用户正在说话,模型同时发出简短回应。
如果将其强行表示为:
User Speech → Model Speech就无法准确表达两者其实发生了重叠。
因此,实时交互模型需要某种方式表示多个流之间的同步、重叠和因果关系。
2.2 多流不一定意味着多个模型
Section titled “2.2 多流不一定意味着多个模型”Multi-Stream 可以有不同实现形式。
例如:
- 多条时间对齐的模态 Token 流。
- 一个模型处理多个逻辑流。
- 多模态输入通过融合模块进入统一表示。
- 不同流使用不同更新频率。
- 通过分块或微轮次进行增量处理。
所以,不能简单地将 Multi-Stream 理解为“一个音频模型加一个文本模型”。
它首先是一种输入输出与时间信息的组织方式。
2.3 时间对齐的重要性
Section titled “2.3 时间对齐的重要性”假设用户说:
“你看这里是不是有问题?”
与此同时,用户在屏幕上选中了某一段代码。
模型需要理解:
- “这里”对应哪一段屏幕内容?
- 选中动作与语音发生在什么时间?
- 用户是在提出新问题,还是修改已有问题?
仅依赖文字转录不足以完整表达这一场景。
因此,未来模型需要更自然地融合语音、视觉、用户行为与工具事件。
这也是模型走向 Temporal Awareness(时间感知)的重要原因。
3. 方案 A:统一自回归 Token 序列
Section titled “3. 方案 A:统一自回归 Token 序列”最直接的方法是将用户输入、交互输出和深度推理都组织成一条自回归序列。
这种设计保留了自回归模型的统一形式。
模型可以通过一个联合分布预测不同类型的输出内容。
优势
训练目标相对统一,能够直接学习交互内容和推理内容之间的关系。
主要问题
如果全部生成都竞争同一条串行 Decode 路径,那么长时间 Reasoning Token 生成容易影响实时语音输出。
例如,模型需要先生成大量内部推理 Token,才能获得下一次语音输出机会。
模型可以在推理中途关闭推理段,先说一句”好的,张江”,再重新打开继续推理,如上图。但说话和推理只能轮流来:说话时推理暂停;正在写一段很长的推理时,中间仍然插不进语音。而且模型要在训练中学会在合适的时候跳出推理。
这与低延迟交互要求存在明显张力。
因此,单序列方案需要更细粒度的时间组织和计算调度,不能简单地把两种 Token 拼在一起。
4. 方案 B:共享模型、双推理流
Section titled “4. 方案 B:共享模型、双推理流”这是本文比较的三种方案里的第二种:让模型共享参数,但拥有两个逻辑推理流。
这里模型可以共享一套权重,但两个流拥有相对独立的推理上下文和计算进度。
落到序列上,方案 B 有两条序列:交互序列按固定的帧时钟推进,推理序列按自己的节奏写,两者之间只传递简短的消息,不传推理过程:
消息本身也是 Token:一小段由特殊 Token 包住的内容,例如推理序列生成 <to_interaction> applied: office = Zhangjiang </to_interaction>,Runtime 识别后把它复制进交互序列,作为一段输入插入。内容要用普通 Token 写,因为要携带具体信息(哪条约束生效、结论是什么、把握多大),单个特殊 Token 装不下。这符合 1-3 第 1.3 节的规则:要另一方接收的内容必须显式输出。
推理序列里全是推理,所以不需要 <think> 这类类型标记。图中”好的,张江”说在约束生效之前,这正是 2-1 第 4.1 节需要生效确认的原因。图里的”共享认知状态”并不是第三条序列,而是两条序列之间的消息,加上一份两边都能按引用读取的原始输入记录(2-1 第 8.2 节)。
主要优势是:深度推理不需要占据交互输出的整个时间线。
例如,Reasoning Stream 正在生成大量推理 Token,Interaction Stream 仍然可以快速响应用户的简短问题。
但这种方式带来新的挑战:
- 两条推理流什么时候同步?
- 如何更新共享认知状态?
- 新输入应该改变哪条流?
- 如果深度推理使用旧约束,如何纠正?
- 旧结果晚到:用户改口之前算出的结果,可能在改口之后才送到交互序列,被当成新结果。单一序列没有这个问题,两个独立模型也有。
因此,这种架构不仅需要模型能够处理不同推理流,还需要相应的 Inference Runtime 支持。
5. 方案 C1:统一输出流与帧间隐向量
Section titled “5. 方案 C1:统一输出流与帧间隐向量”第三种方案更加激进。
深度推理不必表示为显式的文字推理 Token,而可以在隐向量上进行。
本文只考虑一种实现:仍然是一条按时间对齐的自回归序列,但在音频帧之间插入若干不对应文字的隐向量位置(latent slot),推理就在这些位置上进行,做法类似 Coconut11 Hao, S., et al. (2024). Training Large Language Models to Reason in a Continuous Latent Space. Coconut,连续潜在空间推理的代表性研究。 :
每一帧依次是:用户音频、模型语音(可以是沉默)、若干隐向量位置,以及需要时的显式 Token(工具调用、取消)。
- 推理预算就是每帧插入多少个隐向量位置:问题复杂、或刚收到修正时多插几个,需要马上回答时少插。
- 新输入直接进入同一条序列,之后的隐向量位置自然能看到它,不需要另外转发。
- 语音保持帧时钟:推理分散在每一帧之间,不会像方案 A 那样,一段长推理把下一次语音推迟很久。
用循环结构直接改写一个固定大小的状态,是另一种实现,本文不讨论。
C1 仍然是自回归的:每个位置只看它之前的位置,前缀只能追加,KV Cache 照常可用。但三种位置的来源不同:用户音频是外部输入;语音和显式 Token 像普通自回归一样,预测分布后采样一个离散 Token;隐向量位置不采样,而是把上一步最后一层的隐状态直接当作下一个位置的输入,是一种”连续的自回归”。
它的潜在优势是:
深度推理不再必须占用大量显式文本 Token 的串行生成时间。
但也存在明显挑战:
首先,隐向量上的推理如何训练和监督?隐向量位置没有”下一个 Token 应该是什么”这样的目标,只能靠之后的语音和答案是否正确来间接监督;它的输入又取决于上一步算出的隐状态,训练时不能像普通 Token 那样并行地 teacher forcing,只能逐步前向计算。Coconut 另外用分阶段的课程式训练,逐步把文字推理步骤换成隐向量,说明这种能力不能直接从普通推理数据学到。
其次,模型如何判断当前推理已经足够,每帧该插几个隐向量位置?
再次,新输入到达后,之后的隐向量能否只修正受影响的部分,而不破坏其他有效内容?
最后,推理过程不可读,调试、可解释性和推理预算的控制都会更困难。
所以,这是一条有研究价值的方向,但不能直接认定它一定优于显式 Reasoning Token。
6. 三种方案对比
Section titled “6. 三种方案对比”| 维度 | 单一自回归(Autoregressive, AR)序列 | 共享模型双流 | Latent Reasoning |
|---|---|---|---|
| 序列 | 1 条 | 2 条(交互、推理) | 1 条,按时间对齐 |
| 推理表示 | 显式 Token | 推理序列里的显式 Token | 帧间的隐向量位置 |
| 交互与推理并发 | 依赖序列调度 | 可以逻辑独立推进 | 帧内交替,语音保持帧时钟 |
| 状态共享 | 序列上下文 | 两条序列之间的消息 | 同一条序列 |
| 推理预算 | Token 生成预算 | 推理序列自己的预算 | 每帧插入的隐向量个数 |
| 主要挑战 | 长推理阻塞音频 | 状态一致性 | 训练、可控性与状态有效性 |
这三种方式也并不完全互斥。
未来模型可能同时使用多流生成、显式推理 Token 和一定程度的隐式内部计算。
7. 一个理想统一全双工模型的可能架构
Section titled “7. 一个理想统一全双工模型的可能架构”结合前面的分析,我认为未来模型应该具备以下能力。
这是一个概念上的模型能力架构,不代表六个模块必须各自对应独立网络。
未来可能通过统一 Transformer、专门的模态模块、多个逻辑推理流,或其他尚未成熟的结构实现这些能力。
7.1 理想模型的核心性质
Section titled “7.1 理想模型的核心性质”我认为最重要的不是它有多少参数,而是以下五个性质。
- 持续感知:模型能够保持对外部事件的开放输入,而非只处理封闭的 Prompt。
- 时间感知:能够理解停顿、重叠、先后顺序和事件有效性。
- 认知可干预:新信息能够及时影响正在进行的决策,而不是只能等下一次完整任务。
- 多时间尺度推理:即时响应和复杂推理不必共享一个不可中断的执行周期。
- 持续行动能力:模型能够理解未完成的外部行动,并根据新事件调整后续目标与策略。
这些性质共同决定了模型能否成为真正的 Interactive Agent。
推理计算与 Latent Reasoning:Pause Tokens22 Goyal, S., et al. (2024). Think before you speak: Training Language Models With Pause Tokens. ICLR 2024. 通过额外计算步骤改进模型推理的研究。 与 Coconut。1
-
Hao, S., et al. (2024). Training Large Language Models to Reason in a Continuous Latent Space. Coconut,连续潜在空间推理的代表性研究。 ↩ ↩2
-
Goyal, S., et al. (2024). Think before you speak: Training Language Models With Pause Tokens. ICLR 2024. 通过额外计算步骤改进模型推理的研究。 ↩