跳转到内容

Interactive Agent1-3 · 持续推理

全双工模型的联合建模:推理、状态与预算

从全双工语音模型中 Speak 不必是独立 Action 出发,讨论深度推理如何与交互行为、认知状态、推理预算和输出的时机与内容联合建模,给出一个统一的建模目标。

更新于 阅读约 17 分钟

把深度推理放进全双工模型后,模型的输出要同时覆盖哪些关系:推理内容、认知状态、推理预算、输出的时机与内容。单独写一篇,是因为 1-2 说到”靠模型能力”就停了,这一篇回答这个能力具体是什么,以及为什么不用独立的控制 Token 而用联合建模。读完得到一组建模维度和一个统一的建模目标。

本文从一个更简单的问题出发:在原生全双工语音模型中,Speak 是否必须是独立的 Action Token? 答案是不一定。模型可以通过统一的自回归过程联合建模交互行为与语音内容。本文的假设是,深度推理也一样:它不需要独立的 START / STOP 控制动作,而可以与持续感知、交互输出、认知状态演化和推理预算联合建模。 这里的”独立”指由单独的模块来决定;推理内容仍然可以有显式的类型标记,区别见 1.3 节。

本文假设交互与推理的计算资源分开分配,不讨论两者之间的资源争用。三种架构各自怎么实现这些能力,见 3-0。

1.1 Speak 一定是独立的 Action 吗?

Section titled “1.1 Speak 一定是独立的 Action 吗?”

假设一个全双工语音模型持续接收用户音频。

它需要决定:

  • 是否继续倾听。
  • 什么时候开始讲话。
  • 说什么。
  • 是否在当前句子中停顿。
  • 用户插话后是否停止输出。

一种直观方案是将这些行为设计成离散 Action:

Discrete action design: an action head emits LISTEN, SPEAK or YIELD at each step; a separate speech generator is triggered by SPEAK and decides the content

然后由独立的语音生成器决定 Speak 时的具体内容。

但这并不是唯一的模型设计。

另一种方案是直接联合建模输入音频与输出音频:

Joint modeling of input and output audio: one model emits an output frame at every step, silence included; listening, speaking and yielding are read off the output

在这种模型中:

  • 输出沉默,可以表现为继续倾听。
  • 开始生成有声内容,可以表现为开始讲话。
  • 生成简短音频,可以表现为附和。
  • 停止输出,可以表现为让出话语权(YIELD)。

交互行为通过输出序列的内容与时间结构表现出来,而不一定需要一个独立的 Speak Action Token。

这不意味着所有模型都没有显式控制标记。真实实现也可能混合特殊 Token、音频 Token、时间编码与独立的输出 Head。

但从建模思想上看,交互策略和语音内容可以共同学习,而不是完全分离。

1.2 为什么联合建模可能更自然?

Section titled “1.2 为什么联合建模可能更自然?”

因为“什么时候说”和“说什么”并不是独立问题。

例如,用户正在说:

你觉得这个架构……

模型可能需要继续听,因为用户的意图尚未完整。

但如果用户说:

你能听见我吗?

模型可能只需要快速回应:

能听见。

是否讲话,取决于模型对语义内容、上下文和交互时机的共同判断。

如果采用完全独立的 Speak Classifier,分类器可能决定现在应该讲话,但内容生成模型还没有足够信息产生合适的回答。

联合建模则允许交互时机与表达内容共同受到模型内部认知状态的影响。

可以抽象为:

P(yt∣x≤t,y<t,st)P(y_t \mid x_{\le t}, y_{<t}, s_t)

其中:

  • x≤tx_{\le t}:截至当前的用户输入。
  • y<ty_{<t}:此前已经产生的模型输出。
  • sts_t:当前交互与认知状态。
  • yty_t:下一段音频表示,也可以包含沉默。

这个公式只是概念表示,不对应某个已公开模型的精确训练目标。sts_t 在自回归模型里就是前缀本身,不是另外的变量(4.2 节);去掉它,就是 1-1 第 3.3 节的第一条式子。

它表达的核心是:

交互行为不一定由独立分类器决定,也可以是模型连续生成策略的自然结果。

1.3 一个重要前提:行为不是 Token,仍然可以具有明确语义

Section titled “1.3 一个重要前提:行为不是 Token,仍然可以具有明确语义”

即使 Speak 不是独立 Token,系统仍然可以观察模型是否正在讲话。

因此需要区分:

模型内部表示(Representation):行为如何被编码、预测和生成。

系统外部行为(Behavior):模型实际表现出什么交互动作。

这一区分同样适用于 Deep Reasoning。

模型是否在进行复杂推理,与它是否必须显式输出一个 START_REASONING Token,是两个不同的问题。

还要区分另一组概念:独立和显式。

  • 独立:由一个单独的分类器或动作头来决定,比如独立的 Speak Classifier。
  • 显式:同一个模型在同一次生成里输出的、机器能读懂的标记,就像现在的大模型调用工具,tool call 只是模型生成的一段 Token。

联合建模反对的是前者,不反对后者。判断一个行为要不要显式输出,看它由谁来执行:

  • 只影响模型自己,或能从输出直接看出来的行为,不需要显式输出:说话、倾听、让出话语权,从输出音频的内容和时间结构就能读出来;想多深、什么时候停,推理写到哪里停本身就是预算。
  • 需要别人执行的行为,必须显式输出,因为执行方读不到模型内部的意图:调用工具和取消任务由 Harness 执行;跨流的消息(问题、约束、生效确认、阶段性结论)由另一条流接收;推理内容要带类型标记,系统才知道哪些 Token 不能播给用户听。
架构不需要显式输出仍需显式输出
单一自回归序列说话与倾听;推理何时开始、何时停推理段的类型标记;工具调用;取消
共享模型双流每条流内部的说话与推理节奏两条流之间的消息;工具调用;取消
Latent Reasoning内部推理工具调用;取消

所以本文说 Deep Reasoning 不需要 START / STOP 控制动作,意思是不需要一个独立的决策来启动或停止推理;推理内容仍然要有显式的类型标记,这和现在推理模型用 <think> 包住思考内容是一个道理。

2. 如果引入 Deep Reasoning,会发生什么变化?

Section titled “2. 如果引入 Deep Reasoning,会发生什么变化?”

在传统 Reasoning Model 中,复杂推理通常围绕一次请求展开。

概念上可以表示为:

Conventional deep reasoning: the question is fixed when reasoning starts; speech that arrives during reasoning has no path into it, and the answer still uses the old premise

这里的 Reasoning Tokens 用于描述具有显式推理轨迹的模型方案,并不意味着所有推理模型都以完全相同的方式生成或暴露内部推理。

这种结构非常适合离线问题求解。

但它通常隐含一个时间假设:

当前问题的输入在推理开始时已经确定,模型随后投入计算,直到产生结果。

实时交互系统不满足这个假设。

用户音频可以持续到达,而且新输入可能改变正在推理的问题。

考虑一个最简单的场景。

用户开始说:

帮我看看在上海租房住哪个区合适,公司在陆家嘴……

模型已经开始形成相关推理。

随后用户补充:

刚才说错了,公司在张江。

模型现在面临的问题,不只是是否应该产生一句新的语音回应。

它还需要判断:

  • 已经完成的推理是否仍然有效。
  • 哪些结论依赖公司在陆家嘴这一前提。
  • 是否需要重新推理。
  • 当前是否应该向用户确认。
  • 推理预算要不要调整:追加、重算还是停止。

因此,引入 Deep Reasoning 后,模型需要同时决定两个不同时间尺度上的行为:

Interaction Behavior:当前应该如何与用户交流。

Cognitive Behavior:当前应该如何继续推理、调整推理,以及调整推理预算。

如果它们相互独立,模型可能出现不一致。

例如,交互流已经确认“好的,按张江来看”,而深度推理流仍然按公司在陆家嘴的前提继续计算。

这说明:

实时交互与深度推理不仅需要并发,还需要在认知状态上持续耦合。

这种耦合在同一个场景下的样子,见 2-1 第 4.1 节的图。

3. Deep Reasoning 可以联合建模哪些维度?

Section titled “3. Deep Reasoning 可以联合建模哪些维度?”

我认为,至少需要考虑六个维度。

维度联合建模内容核心问题
Perception持续输入与增量理解新信息经由谁、以什么形式进入推理?
Interaction语音内容与交互时机什么时候说、说什么?
Reasoning推理内容与认知状态当前正在形成什么结论?
Reasoning Budget(推理预算)推理深度与停止时机要想多深?新输入到达后,是追加、重算还是停止?(在第 4.5 节讨论)
State Evolution新旧信息、推理状态与进行中的行动进行中的推理和行动是否仍然有效?
Action / Observation外部操作与结果推理如何与真实环境形成闭环?

这六个维度并不是六个必须独立实现的神经网络模块,而是联合建模需要覆盖的不同关系。

其中,我认为最值得重点研究的是两个:

  • Interaction 与 Reasoning 的双向耦合(2-1 第 4 节)。
  • State Evolution,包括推理预算随状态更新而变(第 4 节)。

因为持续感知和语音生成已经有较多研究,而深度推理如何与实时交互共同运行,仍然存在大量开放问题。

本文假设交互与推理的计算资源分开分配,不讨论两者之间的资源争用。单一序列架构(3-0 第 3 节)里,推理和语音共用一条解码序列,这种串行竞争是架构本身的问题,在那里单独讨论。

我认为这是最核心、也最困难的部分。

假设用户让模型优化一个项目。

随着任务推进,模型需要知道:

  • 当前目标是什么?
  • 哪些约束仍然有效?
  • 已完成哪些工作?
  • 正在等待什么工具结果?
  • 用户最近修改了哪些要求?
  • 哪些操作尚未完成?

这些信息并不只是对话文本。

它们构成了智能体的持续工作状态。

沿用 1-1 第 3.3 节的记号:xx 是用户说的话(输入的音频帧),ee 是工具结果,yy 是模型说的话(输出的音频),rr 是深度推理的 Token,一步写一个位置。交互层面的判断(继续听还是开口、说什么)不另写 Token,在生成 yy 的那一步里完成(1.1 节)。在自回归模型里,工作状态就是到当前为止的前缀:

st=(x≤t, e≤t, y<t, r<k)s_t = (x_{\le t},\ e_{\le t},\ y_{<t},\ r_{<k})

状态的更新就是追加:模型这一步写出 oto_t(一段语音、推理或工具调用),新输入接在后面,旧内容不被改写:

st+1=st⊕ot⊕xt+1s_{t+1} = s_t \oplus o_t \oplus x_{t+1}

时间不另设变量:帧就是时钟,沉默也是输入帧。循环网络那种直接改写隐状态的更新,这里不讨论。

它表达的核心思想是:

模型的行为由持续状态和新事件共同决定,而不是完全重新从一次独立 Prompt 开始。

假设模型已经思考了很长时间。

记当前的推理状态为 stRs_t^{R},也就是前缀里推理那部分。用户新的音频输入 xtx_t 带来一个新约束,推理状态要随之更新。但这里存在一个问题:

不是所有旧推理结论都应该继续成立。

例如,模型原本推导的某个结论依赖公司在陆家嘴,现在用户把公司位置修正为张江。

部分结论可能继续成立,部分结论需要重新计算。

在自回归模型里,推理状态就是前缀(以及它的 KV Cache)。前缀只能追加,旧推理从不被改写,更新就是”追加新输入,再让模型继续写”:

st+1R=stR⊕xt⊕rk+1:k′s_{t+1}^{R} = s_t^{R} \oplus x_t \oplus r_{k+1:k'}

其中 stRs_t^{R} 是原来的前缀,包括按陆家嘴写下的推理 r≤kr_{\le k},保持不变;xtx_t 是追加的新输入;rk+1:k′r_{k+1:k'} 是模型接着写出的那一段修正,例如”公司在张江,通勤这条不成立,租金的结论不受影响”。

旧推理不被改写,更新体现在模型之后写出的修正里。所以这里不需要专门设计更新机制:不改 KV,不追踪推理依赖,也不做分支管理。难点在于模型能否在保留旧推理的前缀上,只修正受影响的部分,而不是忽略新约束,也不是整段重来。这与 1-2 新输入怎么进入进行中的推理 第 1.3 节的结论一致:修改前缀不是必需的,修正主要靠模型能力。

但有三处仍然要考虑状态更新:

  • 更新的语义仍要定义清楚。 1-2 第 4.1 节的三种更新不再是机制,而是”模型该怎么写”的标准,对应 1-4 第 1.2 节的训练场景和 1-4 第 2.3 节的 State Consistency 指标。
  • 粗粒度边界上的清理是一次显式更新。 前缀里堆满被推翻的推理后,在一轮结束或上下文快满时压缩前缀,就是在改写状态。
  • 状态不只是一段前缀时,仍需要显式的更新规则。 方案 B 里两条流之间的状态,以及交互流缓存的推理结论(2-1 第 4.1 节的生效确认就是为此)。方案 C 里推理用的隐向量也是追加在同一条序列里的,旧的隐向量同样不被改写。

所以,“只靠训练、不设计更新机制”完全成立的情况,是方案 A 和方案 C 这样的单一序列,并且只看一轮之内。

我认为需要区分两种状态。

Model Cognitive State

表示模型当前的理解和推理状态,例如用户意图、当前关注点、计划和未解决问题。

System Execution State

表示已经发生且需要可靠记录的事实,例如任务状态、文件变更、用户授权和工具结果。

两者可以通过事件同步,但不应完全合并。

例如,模型认为已经取消了任务,不代表正在运行的外部程序真正停止。

即使未来模型能够维护非常强大的长期记忆,也需要外部 Runtime 为实际执行结果提供可验证的事实来源。

系统侧把这些状态再分成 Interaction、Task、Execution 三类并指定权威来源,见 2-2 实时交互系统架构与协议。

在计算资源分开分配的前提下,推理预算只指一件事:这个问题要想多深、什么时候停。按问题难度调整推理长度,现有推理模型已经部分做到。全双工下新增的是:预算要随新输入在中途调整。

新输入预算调整
补充信息(Accumulation)通常继续,必要时追加
修正前提(Revision)为受影响的部分追加计算,保留仍然有效的部分
推翻前提(Invalidation)停止当前推理,按新问题重新分配
附和、无关的话不调整,也不打断推理

还有一层权衡:推理越久,中途前提被改的可能越大。会不会出现过时的结论,取决于推理时间与相关输入变化间隔之比(见 1-2 第 2 节)。所以推理预算不只影响用户等多久,也影响结论的一致性。

这些判断都依赖语义:问题有多难、推理离结论还有多远、新输入作废了多少已有推理,只有模型自己知道。这与第 1.2 节的论证相同:“什么时候想、想多少”和”想什么”不是独立的问题,就像”什么时候说”和”说什么”不是独立的问题。

到目前为止,我们主要讨论新输入如何影响推理。

但反过来,推理也应该影响交互输出:不只是什么时候说,还有说什么、怎么说。这与第 1.2 节的论证相同,“什么时候说”和”说什么”不是独立的问题。

假设用户提出一个复杂问题。

模型可能已经得到部分中间结论,但尚未完成全部推理。

此时有三种选择:

  • 立即给出阶段性反馈。
  • 继续思考,暂不回答。
  • 先说明当前不确定性,再继续分析。

这里的选择不仅取决于交互状态,也取决于深度推理的进展。

因此,Interaction Policy 应该能够感知与表达 Reasoning State 的一部分信息。

例如:

Reasoning 状态时机内容
尚未获得可靠结论继续倾听,或简短回应只说进展,不说结论:“还在算通勤时间”
已形成可验证的阶段性结论适时反馈带上把握程度:“可能浦东更合适”,而不是”就是浦东”
约束已告诉用户,但推理尚未生效等生效确认(见 2-1 第 4.1 节)不说旧前提下得出的结论
新输入推翻旧结论尽快明确收回之前说过的话,并说明哪些仍然成立:“租金那条仍然成立,通勤那部分要按张江重看”
推理遇到关键不确定性适时插入从不确定性生成一个具体的问题:“能接受换乘吗?”
推理结束输出最终回答压缩成适合说出来的长度,不复述推理过程

其中两类内容是全双工特有的:

  • 收回说过的话。 普通推理模型最后才回答,不存在”说错了要改口”的问题;全双工模型在推理中途就说了话,新输入推翻旧结论后,要明确改口。
  • 按把握程度措辞。 阶段性结论之后还可能被推翻,措辞要和推理当时的把握程度一致,否则改口时代价更大。

这意味着,未来模型需要学习的不只是何时生成音频,还包括:

哪些推理状态足以支持当前表达、该怎么表达,以及什么时候应该继续保持沉默。

这里不必要求模型将完整内部推理直接转化为语音。

相反,模型可以学习将复杂认知状态压缩成适合交互的表达。

综合前面的讨论,可以提出一个概念性的联合建模框架。

设:

  • x≤tx_{\le t}:持续到达的用户输入。
  • e≤te_{\le t}:外部观察,工具结果。
  • y<ty_{<t}、r<tr_{<t}:此前写出的语音和推理,和输入一起构成前缀,也就是 4.2 节的 sts_t。
  • yty_t:当前交互输出。
  • rtr_t:当前写出的推理。
  • btb_t:推理预算,即还要想多深、是否停止。

则可以将模型抽象为:

P(yt,rt,bt∣x≤t,e≤t,y<t,r<t)P(y_t, r_t, b_t \mid x_{\le t}, e_{\le t}, y_{<t}, r_{<t})

这里并不是要求真实模型必须显式生成 yt,rt,bty_t, r_t, b_t 三组 Token。认知状态不在输出里,因为它就是前缀,追加之后自然更新。

它表达的是:实时交互、深度推理、推理预算和认知状态演化应该在同一个建模目标下被共同优化。

其中:

  • 交互输出需要满足低延迟和自然性。
  • 深度推理需要保证问题求解能力。
  • 推理预算需要适应任务复杂度,并随新输入调整。
  • 认知状态需要能够吸收新信息并修正旧结论。

与普通的 Audio-to-Audio Model 相比,最大的变化是引入了长期认知计算及其状态演化。

与传统 Reasoning Model 相比,最大的变化是计算不再只围绕一个固定输入展开,而必须持续适应新的输入。

本文从全双工语音模型中的一个简单假设出发:

Speak 不一定是独立的 Action Token,而可以是统一自回归音频输出序列自然表现出来的行为。

由此进一步提出:

Deep Reasoning 也不一定需要被表示为独立的 Start / Stop Action,而可以通过持续认知状态与动态计算过程体现。

但需要别人执行的行为,例如调用工具、取消任务、跨流消息和推理内容的类型标记,仍然要显式输出;它们由同一个模型生成,而不是由独立模块决定。

不过,Deep Reasoning 与 Speak 存在重要区别。

Speak 直接产生可观察的音频输出,而 Deep Reasoning 更多体现为内部计算与认知状态变化。

因此,在全双工模型中加入 Deep Reasoning,不能只是增加一种新的输出 Token 类型。

在交互与推理的计算资源分开分配的前提下,它还需要联合考虑两个核心问题。

第一,Interaction 与 Reasoning 的联合建模。

交互能够及时影响深度推理,而深度推理的结论也能够在合适时间进入语音表达。这部分在 2-1 第 4 节展开。

第二,Reasoning 与 State Evolution 的联合建模。

新输入应该能够修正旧推理,同时尽可能保留仍然有效的认知状态;推理预算也随之调整:追加、重算或停止。

从架构角度,目前至少存在三条可能的研究路线(3-0):

  • 统一自回归 Token 序列。
  • 共享模型参数的多推理流。
  • 在帧间隐向量上推理的 Latent Reasoning。

它们可能相互结合,而不是彼此排斥。

我认为未来理想模型最值得追求的性质是:

在持续接收输入的同时,模型能够根据当前认知状态决定何时表达、何时深入思考、投入多少计算,以及如何修改尚未完成的推理。

因此,持续推理的核心不只是“同时听说和思考”,而是:

交互行为、推理过程、认知状态与推理预算之间的动态联合建模。

这可能才是从今天的 Full-Duplex Voice Model 迈向真正 Continuous Interactive Intelligence 的关键一步。

全双工交互模型背景:Moshi11 Défossez, A., et al. (2024). Moshi: A Speech-Text Foundation Model for Real-Time Dialogue. Kyutai. 原生音频全双工与语音文本联合建模。 、Interaction Models22 Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 与 GPT-Live。33 OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 44 OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。

Footnotes
  1. Défossez, A., et al. (2024). Moshi: A Speech-Text Foundation Model for Real-Time Dialogue. Kyutai. 原生音频全双工与语音文本联合建模。 ↩

  2. Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 ↩

  3. OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 ↩

  4. OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。 ↩