Interactive Agent1-4 · 持续推理
持续推理的训练与评测
持续推理需要什么训练数据、训练目标和评测指标:从固定问题到中途注入新输入的动态问题,一个对照实验方案,一组指标,以及还没有答案的问题。
持续推理需要什么训练数据、训练目标和评测指标。单独写一篇,是因为现有的训练和评测都是固定问题、看最终答案;持续推理的核心能力(中途修正、保留有效推理)在这种设置下测不出来。读完得到一个对照实验方案和一组指标,以及还没有答案的问题。
全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。
1. 模型训练需要怎样改变?
Section titled “1. 模型训练需要怎样改变?”即使拥有合适的架构,也不代表模型自然具备这些能力。
真正的持续推理需要训练模型学习持续输入与复杂推理之间的关系。
1.1 从固定问题训练转向动态问题训练
Section titled “1.1 从固定问题训练转向动态问题训练”传统推理数据通常具有相对固定的输入:
而实时推理训练需要引入中途变化:
例如,在模型已经推理若干步骤后,注入新的条件。
训练目标不是简单要求模型重复新条件,而是让最终推理结果正确体现条件变化。
目标行为的形式也要明确:旧推理留在上下文里,模型追加一段修正,例如”公司在张江,通勤这条不成立,租金的结论不受影响”,而不是忽略新条件,也不是整段重来。现有推理模型会在思考中途写”wait,前面不对”再改正,说明这种追加修正的形式学得会;缺的是由外部新输入触发的训练。目前,推理中途插入新输入对模型基本属于分布外,见 1-2 第 1.3 节的说明。
1.2 新输入应该覆盖不同影响类型
Section titled “1.2 新输入应该覆盖不同影响类型”训练中可以包含:
| 变化类型 | 训练目的 |
|---|---|
| 无关输入 | 不应无谓地中断深度推理 |
| 补充信息 | 将有效信息加入后续推理 |
| 前提修正 | 发现并修正旧推理中的错误依赖 |
| 目标改变 | 调整当前求解方向 |
| 紧急中止 | 及时停止不应继续的计算或行动 |
| 即时追问 | 在长推理期间给出合适的阶段性回应 |
但这里要注意:
这些是构建训练数据的场景维度,而不是必须让模型每次预测的分类标签。
我们不必重新回到固定的 Intent Classifier 设计。
可以通过模型最终行为是否正确来训练和评估。
1.3 训练目标不应只有最终答案正确率
Section titled “1.3 训练目标不应只有最终答案正确率”例如一个模型在用户插话之后,重新推理并得到正确答案。
从最终答案角度看,它表现良好。
但如果它花费了大量重复计算,或者长时间无法回应用户,实时交互体验仍然不好。
因此训练和优化目标可能需要同时考虑:
- 最终推理正确性。
- 新输入生效延迟。
- 实时交互质量。
- 中间推理状态利用效率。
- 计算成本。
- 长时间推理期间的交互连续性。
这些目标存在权衡。
例如,更积极地中断推理可能降低控制延迟,却提高计算浪费。
反过来,始终等待当前推理完成可以减少中断成本,却影响交互响应。
理想模型应该学会在这些约束之间作出合理选择。
1.4 从离线问答数据到连续交互数据
Section titled “1.4 从离线问答数据到连续交互数据”传统训练数据常见形式是:
User PromptAssistant Response而全双工模型需要包含更丰富的时间关系:
- 用户与模型语音重叠。
- 模型输出期间发生打断。
- 用户未说完便修改表达。
- 对话中出现长时间沉默。
- 模型在工具执行期间进行反馈。
- 运行中任务被修改或取消。
模型需要学习的不只是语言内容,还包括时间条件下的交互策略。
1.5 从回答正确走向行为正确
Section titled “1.5 从回答正确走向行为正确”传统语言模型评估主要关注内容质量。
但实时模型还需要判断:
- 是否应该现在说话?
- 是否应该继续听?
- 是否应该打断自己的输出?
- 是否需要等待更多信息?
- 是否应该立即执行某个控制操作?
因此,训练目标可能需要同时考虑内容正确性、交互时机和行动结果。
1.6 多时间尺度训练
Section titled “1.6 多时间尺度训练”模型可能需要同时学习:
- 短时间尺度上的语音交互。
- 中等时间尺度上的任务理解和澄清。
- 长时间尺度上的推理、计划与行动。
如果训练数据只覆盖简单语音问答,即使模型架构支持多流输入,也不一定能在长期任务场景中表现出有效的持续推理。
这与近期全双工语音模型综述所指出的现象一致:模型架构所支持的能力,与训练和评估中实际表现出的交互行为之间可能存在明显差距。11 Lu, J., et al. (2026). Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems. EMNLP 2026.
2. 如何验证持续推理?
Section titled “2. 如何验证持续推理?”如果只比较任务最终答案,可能无法体现实时交互能力的真正区别。
更合理的是在复杂推理正在进行时,引入新的用户信息,观察系统行为。
这类实验能够区分两件事:
系统看起来持续交互,和模型本身具备持续、可干预的推理能力。
两者都值得研究,但不能用同一套指标完全替代。
我建议先设计一个非常简单的对照实验。它同时也是 1-1 从 ReAct 到持续推理 里三种范式对比的评估方案。
2.1 实验场景
Section titled “2.1 实验场景”用户提出一个需要较长推理的问题:
帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。
模型开始推理。
在不同推理阶段,用户持续音频中补充:
刚才说错了,公司在张江,不是陆家嘴。
接下来观察模型是否正确调整推理。
2.2 比较几种方案
Section titled “2.2 比较几种方案”| 方案 | 新输入处理方式 |
|---|---|
| Turn-Based Reasoning | 当前推理结束后处理 |
| Interrupt + Restart | 中断,丢弃已生成的推理,基于原问题加新输入重新推理 |
| Interrupt + Continue | 中断,保留已生成的推理,追加新输入后继续 |
| Fast Discrete Reasoning | 每次输入变化都快速重新推理一遍,作为基线(见 1-2 第 2 节) |
| Dual-Stream Reasoning | 交互流接收新输入,深度推理流在合适边界更新 |
| Incremental Cognitive State | 直接调整有效的认知状态,继续推理 |
这里的 Dual-Stream 与 Incremental Cognitive State 是候选设计,不代表现有模型都已经具备相应能力。
在单个自回归模型里,Interrupt + Continue 和 Incremental Cognitive State 的计算形态相同。比较这两者,测的是模型有没有学会在保留旧推理的前缀上修正。
2.3 关键评价指标
Section titled “2.3 关键评价指标”Intervention Latency
新输入到达后,多久能够影响后续推理?
Reasoning Correctness
新约束是否正确反映在最终结论中?
Compute Waste
有多少已完成的计算被丢弃或重复?
Interaction Responsiveness
深度推理进行期间,用户能否获得及时回应?
State Consistency
模型是否错误地继续使用已经失效的前提?
Task Completion
最终是否完成原有目标或更新后的目标?
Answer Stability
对用户说过的结论是否来回变?每次输入变化都重新推理的方案,同一个问题可能给出不同结论。
还可以增加一个很重要的实验变量:新输入到达的时间点。
例如,在深度推理的早期、中期和后期分别加入同一条修正,比较其影响。
如果越到后期就越难修正,可能说明模型对已有推理状态产生了较强的路径依赖。
另一个变量是推理时间与输入变化间隔之比。比值小于 1 时,推理在下一次输入变化前就能完成,Fast Discrete Reasoning 应与其他方案接近;比值越大,各方案的差距越明显。
2.4 四个评估层次
Section titled “2.4 四个评估层次”仅使用传统的问答准确率、语音质量或平均响应延迟,不足以衡量完整的交互能力。
我建议将评估划分为四个层次。
| 评估层次 | 主要指标 |
|---|---|
| 交互层 | 输入响应延迟、打断识别、重叠语音理解 |
| 推理层 | 新约束生效延迟、推理调整正确性、状态保持 |
| 任务控制 | 控制请求正确性、任务修改成功率、取消可靠性 |
| 整体体验 | 任务成功率、交互自然性、用户控制感、计算成本 |
2.5 不只测 Latency,还要测响应有效性
Section titled “2.5 不只测 Latency,还要测响应有效性”例如,用户在模型进行深度推理时说:
“停止当前任务。”
模型可能在 200 ms 内回应“好的”,但后台任务仍然运行。
这种情况下,语音响应延迟很低,但行动控制并未完成。
因此,应区分:
- 语义理解延迟。
- 语音回应延迟。
- 控制请求提交延迟。
- 控制实际生效延迟。
这些指标共同决定系统是否具有真实的可干预性。
2.6 测试持续交互是否影响任务质量
Section titled “2.6 测试持续交互是否影响任务质量”一个模型可能在没有用户打断时完成任务表现很好,但频繁接收新输入后出现状态混乱。
因此,应当设计包含持续干预的任务评估。
例如,同一个复杂任务分别在以下条件下执行:
- 没有中途交互。
- 执行过程中存在无关闲聊。
- 用户追加有效约束。
- 用户修改已有目标。
- 用户要求取消部分操作。
比较最终任务质量、控制正确性及计算开销。
这样才能真正评估模型在推理进行中吸收新输入、以及控制运行中任务的能力,而不只是语音聊天表现。
3. 尚未解决的关键问题
Section titled “3. 尚未解决的关键问题”3.1 深度推理是否必须有显式 Token?
Section titled “3.1 深度推理是否必须有显式 Token?”不一定。
显式 Token 提供了成熟的自回归建模路径,也相对便于观察推理过程。
但它可能使推理计算与语音生成竞争串行 Decode 时间。
Latent Reasoning 可能提供另一条路线,但需要解决训练、状态更新和计算可控性问题。
因此,不应该过早将某一种表示作为最终方案。
3.2 单一自回归流是否足够?
Section titled “3.2 单一自回归流是否足够?”自回归模型能够逐 Token 生成输出,但多流实时交互要求持续输入、持续状态更新和可能并发的输出。
是否能通过适当的时间分块与推理调度满足这些需求,还是需要新的模型结构,目前并没有唯一答案。
3.3 模型能否只修正受影响的推理?
Section titled “3.3 模型能否只修正受影响的推理?”当用户改变推理前提时,模型能否在保留旧推理的前缀上,只修正受影响的部分,而不是忽略新前提或整段重来?见 1-2 第 1.3 节。
这不是 KV Cache 的保存与恢复问题(追加不会让已有的 KV 失效),而是推理内容的语义有效性问题。1-3 全双工模型的联合建模 的 State Evolution 一节把更新分成 Accumulation、Revision、Invalidation 三种,并区分语义有效性与计算有效性。
当新输入推翻旧推理前提时,系统需要避免继续复用已经失效的结论。
但模型的内部推理依赖可能很复杂,未必能够被准确显式追踪。
因此,语义级推理状态复用可能比单纯的 KV Cache 复用更加困难。
这也许是持续推理最核心的长期研究挑战。
3.4 时间应该如何进入模型表示?
Section titled “3.4 时间应该如何进入模型表示?”时间可以通过音频位置、时间戳、微轮次、时间嵌入或其他机制表达。
不同表示方式会影响模型对沉默、重叠、事件先后和长期时间间隔的理解能力。
3.5 模型应该自主决定多少交互行为?
Section titled “3.5 模型应该自主决定多少交互行为?”什么时候发言、什么时候保持沉默、什么时候主动提醒用户,可能逐渐由模型学习得到。
但用户授权、危险操作和外部副作用仍需要确定性的系统约束。
如何划分模型策略与 Runtime 规则,是未来的重要问题。
-
Lu, J., et al. (2026). Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems. EMNLP 2026. ↩