跳转到内容

Interactive Agent0-0

从 Turn-Based Agent 到 Real-Time Interactive Agent

从 Turn-Based Agent 出发,讨论实时交互智能体的运行范式、全双工能力与系统目标。

更新于 阅读约 25 分钟

当前的大语言模型 Agent 已经能够自主规划、调用工具,并持续执行复杂任务。以 Codex、Claude Code 为代表的 Coding Agent,能够围绕一个目标完成长时间的推理与行动。

但这些 Agent 的交互方式仍然以 Turn(轮次)为中心:用户提出请求,Agent 进入执行循环,最终返回结果。即使系统支持运行中输入或中断,这些能力通常也不是交互的主要组织方式。

与此同时,GPT-Live 和 Thinking Machines 的 Interaction Models 展示了另一种方向:模型能够持续感知用户、进行实时对话,并在交互过程中协调后台工作。11 OpenAI. Getting Started with GPT-Live. 实时语音交互与后台委派的公开能力。 22 Thinking Machines Lab. (2026). Interaction Models: A Scalable Approach to Human-AI Collaboration. 模型原生的连续多模态交互。

这引出了一个更根本的问题:

如果 AI 不再只是接收请求并完成任务,而是能够持续感知、思考、行动,并随时与人协作,那么它的运行范式应该是什么样的?

本文从传统 Turn-Based Agent 出发,讨论 Full-Duplex 的意义,并尝试定义理想的 Real-Time Interactive Agent。ReAct 与实时交互的关系已在 1-1 从 ReAct 到持续推理 里逐项比较,本文只取其结论。

本文主要关注交互范式与系统目标。具体的模型架构、通信协议、调度算法和双脑实现方案将在后续文档展开。

1. 背景:Agent 能力与交互方式的不对称发展

Section titled “1. 背景:Agent 能力与交互方式的不对称发展”

早期基于 LLM 的应用主要采用请求—响应模式。

用户提出问题,模型生成回答,一次交互便告结束。

User Request
↓
LLM Inference
↓
Response

当模型逐渐具备工具调用和复杂推理能力后,Agent 开始能够执行更加长期的任务。

例如:

  • 阅读和分析大型代码仓库。
  • 修改代码并运行测试。
  • 搜索资料并撰写研究报告。
  • 操作浏览器和外部应用。
  • 将复杂目标拆解成多个执行步骤。

Agent 的工作过程不再是一次简单的模型推理,而是一个持续进行的决策与执行循环。

User Request
↓
Reason → Act → Observe
↑ │
└──────────────┘
↓
Final Result

ReAct 是这一模式的重要理论基础之一。它将推理与行动交错组织,使模型能够通过环境反馈不断更新行动计划。33 Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. 推理与行动闭环。

1.2 执行能力进步,并不意味着交互范式同步进化

Section titled “1.2 执行能力进步,并不意味着交互范式同步进化”

虽然 Agent 已经可以执行长时间任务,但用户通常仍然通过离散消息与它交互。

例如,用户要求一个 Agent:

帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。

Agent 开始工作。几分钟后,用户发现自己说错了:

刚才说错了,公司在张江。

理想情况下,用户应该能够像与正在工作的同事交流一样,随时补充要求。

但传统 Agent 通常需要通过专门的 Steering、Interrupt 或排队消息机制来处理这些新输入。

这反映出一个问题:

Agent 的执行过程已经变得持续化,但用户交互仍然主要围绕离散 Turn 组织。

这种不对称将逐渐成为人机协作的限制因素。

1.3 真正的问题不是任务执行得太慢

Section titled “1.3 真正的问题不是任务执行得太慢”

可以通过更强的模型、更快的推理引擎和并行工具调用,缩短任务完成时间。

但即使一个 Agent 能够在十秒内完成原本需要一分钟的任务,它仍可能不支持用户在执行过程中自然地参与。

反过来,即使一个任务必须执行十分钟,只要系统允许用户持续交流、观察和干预,也可能提供良好的协作体验。

因此,需要区分:

  • Execution Efficiency(执行效率):任务完成得有多快。
  • Interaction Responsiveness(交互响应性):系统能否及时理解和回应用户的新输入。
  • Interactive Controllability(交互可控性):用户能否在任务运行过程中有效改变系统行为。

这三种能力相互关联,但不能互相替代。

Turn-Based Agent 是一种以离散交互轮次组织执行过程的 Agent 系统。

典型运行方式是:

  1. 用户提交一个请求。
  2. 系统创建一次 Agent Turn。
  3. Agent 在 Turn 中进行推理与工具调用。
  4. Agent 根据工具结果继续工作。
  5. Turn 完成,系统返回结果。
  6. 等待下一次用户请求。

需要注意,Turn-Based 并不意味着系统内部不能并发,也不意味着运行中的任务完全无法接收新消息。

它描述的是用户交互与任务执行的主要组织边界。

这种设计非常适合任务型 Agent。

首先,它具有明确的执行边界。一次 Turn 有起点、执行过程和终止状态。

其次,它便于管理任务的工具调用历史、错误处理和资源预算。

再次,它适合明确的目标驱动工作:用户提交目标后,Agent 可以较长时间自主执行,而不必频繁等待人类参与。

对于软件开发、研究和数据处理等任务,这种模式仍然非常有效。

因此,Turn-Based 不是错误设计,而是针对特定交互假设的一种合理选择。

真正的限制在于:新输入何时能够进入 Agent 的决策过程?

在典型的 Turn-Based 系统中,模型调用会接收当前已构造的上下文。之后到达的用户输入,通常需要等到新的模型调用、中断或其他显式续接机制,才能影响推理。

执行中的 Agent 可以接收工具的 Observation,但用户的新消息不一定能够以同样的方式即时影响当前计算。

背后的原因是计算期间状态在变:一次计算开始时读取的前提,可能在计算结束前就被新输入改了(1-2 第 1 节)。工具结果和推理是同一个问题在两层的表现。

这便形成了一种结构性张力:

用户希望持续交互,Agent 却主要按照离散执行周期推进。

不矛盾。1-1 从 ReAct 到持续推理 已经逐项比较了 ReAct、Async ReAct 和持续推理,这里只取结论。

ReAct 并没有要求环境观察只能来自工具。用户的新要求、外部事件、环境变化,同样可以成为 Observation。但如果系统仍然要求当前模型调用或执行阶段完整结束后才能接收新输入,那么用户干预就无法及时生效。

因此,可以做出一个重要区分:

ReAct 是决策循环;Turn-Based 是组织该循环的一种执行方式。

ReAct 可以运行在 Turn-Based Runtime 中,也可以成为持续事件驱动系统中的一种决策机制。

传统 Agent 的典型结构是:

Request → ReAct Loop → Response

理想的实时 Agent 则更接近:

Events → State Update → Decision → Action → New Events

两者并不是完全不同的算法,而是拥有不同的时间模型和输入组织方式。开放式循环允许系统在持续执行过程中不断吸收新信息,但这要求系统支持及时的事件处理、可调整的执行状态,以及适当的推理中断或协作机制。仅仅为传统 Agent 添加一个消息队列,并不能自动实现实时交互。

4. 从 Request-Driven 到 Continuous Interactive Agent

Section titled “4. 从 Request-Driven 到 Continuous Interactive Agent”

传统 Agent 往往以任务为中心组织交互。

用户提出任务,Agent 执行任务,然后返回结果。

但人与人协作并不完全遵循这种方式。

例如,一个人正在编写代码时,同事可以随时提出新想法、询问进度或修改要求。

工作本身可以继续,而沟通不需要等待整个工作完成。

理想的 AI 系统也应该具有这样的特征。

任务拥有自己的生命周期,交互也拥有自己的时间线,两者能够持续相互影响,但不必互相等待。

4.2 什么是 Continuous Interactive Agent?

Section titled “4.2 什么是 Continuous Interactive Agent?”

本文将其定义为:

Continuous Interactive Agent 是一种能够持续接收用户与环境事件、维护长期目标和工作状态,并在不中断整体交互连续性的前提下进行推理、行动和反馈的智能系统。

这里的“持续”强调外部交互的可用性与状态连续性,不意味着模型必须无间断地消耗计算资源。

它具有六项基本特征。

特征含义
Continuous Perception持续接收外部输入
Persistent State保持长期目标和工作状态
Concurrent Activities交互与任务执行能够重叠推进
Interruptibility新输入能够及时影响相关行为
Adaptive Agency根据环境和用户要求调整行动
Proactive Interaction可以根据状态主动发起有价值的反馈

传统 Agent 的主要目标通常是完成任务。

而持续交互智能体还需要关注任务过程中的协作质量。

例如,用户要求调研在上海租房住哪个区合适,系统正在执行时,用户可以自然地询问:

“现在看哪个区靠谱?”

AI 可以根据已有的分析结果回答,而不需要结束原来的任务。

随后用户可以补充:

“预算最多八千。”

系统能够把这个条件纳入后续工作。

这样的体验不只是一个更快的 Agent,而是一种新的协作方式。

在通信系统中,Full-Duplex 指双向通信能够同时发生。

对于实时 AI,最直接的体现是模型能够在输出语音时继续接收用户声音。

本系列只在这个意思上用”全双工”:它是模型的运行方式,输入不冻结,边收边算边出。系列里的几个词按这个定义排开:

用的词定义不再用的词
全双工模型的运行方式:输入不冻结,边收边算边出感知全双工
全双工语音模型全双工用在语音上,Moshi 这类
持续推理(Continuous Reasoning)全双工用在深度推理上:深度推理也按这种方式运行认知全双工、Continuous Full-Duplex Reasoning
离散调用输入冻结在推理开始时,跑完才看下一批;快速离散推理是它的对照路线
双流交互和推理是不是同一条序列
取消、修改任务Runtime 的机制(2-3)行动全双工

全双工语音模型和持续推理不是两个概念,是同一种运行方式用在两个地方。差别只在两次输入之间算几步:语音模型一帧一步,输入变了下一步直接跟着变;深度推理在两次输入之间算很多步,前面算出的还算不算数,是推理变长以后才冒出来的难点(1-1 第 3.3 节)。

对于一个能够持续执行任务的智能体,仅仅做到边听边说还不够。假设模型正在执行复杂推理。

用户突然说:

“等等,刚才的条件不对。”

如果模型能够听到这句话,却必须等到整个旧推理完成后才能理解和处理,那么系统只是实现了音频上的全双工。

理想情况下,新的输入应该能够及时影响后续推理和行动。

更进一步,若模型已经发起外部工具操作,还需要判断是否继续、取消或调整操作。

运行中的工具调用也是推理状态的一部分,它和推理遇到的是同一个问题:计算期间状态在变(1-2 第 1 节)。目前的 Harness 不过滤过时的工具结果,由模型判断结果是否仍然有效。

这意味着全双工能力不只取决于模型能否处理音频,还取决于其推理机制、状态管理及外部执行环境。

目前可以从三类代表性系统观察这一方向的发展。

Moshi 是 Kyutai 提出的实时语音对话模型。

其主要思想是不再将语音对话完全拆分为 ASR、文本 LLM 和 TTS 的级联过程,而是通过语音 Token 直接建模对话。

核心机制包括:

双向音频流建模

模型分别表示用户和助手的音频流,使两者能够在时间上重叠。

音频 Token 生成

模型通过神经音频编解码器的离散表示进行语音生成。

Inner Monologue

Moshi 使用与音频时间对齐的文本 Token,辅助提升语言内容的建模与语音生成质量。

论文报告了约 160 ms 的理论延迟和约 200 ms 的实际延迟,具体结果对应其研究系统与测试设置,不能视为所有部署环境的保证。44 Défossez, A., et al. (2024). Moshi: A Speech-Text Foundation Model for Real-Time Dialogue. Kyutai. 原生音频全双工与语音文本联合建模。

Moshi 的重要意义在于:

全双工可以成为模型原生的序列建模能力,而不只是外围语音工程的组合。

不过,其核心研究目标仍是实时语音对话,不等于已经解决长期复杂推理和工具行动的完整全双工问题。

6.2 Interaction Models:Multi-Stream 与 Micro-Turn

Section titled “6.2 Interaction Models:Multi-Stream 与 Micro-Turn”

Thinking Machines 于 2026 年 5 月发布的 Interaction Models 研究预览,从模型训练层面探索持续交互。

其核心思路是:

将交互组织成具有真实时间关系的多个输入输出流,而不是把全部内容压平成严格交替的用户与模型 Token 序列。

该研究采用 Multi-Stream 与 Micro-Turn 设计,其中展示了 200 ms 的微轮次结构。2

传统序列组织:

User Input 1
↓
Model Output 1
↓
User Input 2
↓
Model Output 2

Micro-Turn 组织:

时间 t0 t1 t2 t3
User Audio ──────────────────────────
Video ──────────────────────────
Model Listen / Think / Speak
───────────────────

这种设计保留了输入输出在时间上的重叠关系,也允许模型学习沉默、简短回应和打断等行为。

其重要变化是:

时间不再只是音频播放的外部属性,而成为模型训练与推理组织的一部分。

但 Micro-Turn 并不意味着模型必须每 200 ms 完成一次完整的深度推理,也不意味着底层必然采用多个独立的 Transformer 实例。

6.3 GPT-Live:实时交互与后台推理协作

Section titled “6.3 GPT-Live:实时交互与后台推理协作”

GPT-Live 采用另一条值得关注的技术路线。

官方文档说明,GPT-Live 能够在讲话期间继续监听,同时通过 Delegation 将复杂推理和工具工作交给后台模型或 Agent。155 OpenAI. Delegation and Tools in GPT-Live. 实时交互与后台推理分离的协议机制。

从公开的系统接口来看:

  • 实时模型处理语音交互。
  • 后台执行复杂工作。
  • 前台对话与后台任务可以独立推进。
  • 后台结果通过事件重新进入实时会话。
  • 应用负责管理权限、任务状态与控制。

其重要意义在于:

即使一个模型尚不能同时承担低延迟语音与所有复杂推理,也可以通过系统架构形成持续交互体验。

不过,这是一种系统层面的能力组合,不能据此推断 GPT-Live 本身已经具有完整的长期持续推理能力。

方向主要突破点仍需解决的问题
Moshi原生双向语音建模复杂推理和长期行动
Interaction Models时间感知、多流、微轮次交互更广泛任务中的可扩展性与可靠性
GPT-Live实时交互与后台工作解耦前后台状态、控制和任务协调

三者并不是完全互斥的竞争方案。

未来系统可能同时利用原生多流模型能力、可变计算预算和异步后台执行。

另外,2026 年 EMNLP 的全双工语音系统综述也指出:架构上允许双向同时处理,并不保证模型在实际交互中能够充分表现出相应能力。训练数据覆盖的交互模式与评估方法同样重要。66 Lu, J., et al. (2026). Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems. EMNLP 2026.

7. 两个轴:离散还是持续,单流还是双流

Section titled “7. 两个轴:离散还是持续,单流还是双流”

7.1 目标是持续交互,不是持续推理

Section titled “7.1 目标是持续交互,不是持续推理”

1-1 比较的三种范式容易被读成一条必然路线,终点是持续推理。更准确的说法是:Full-Duplex Interaction 是系统能力目标;持续推理、快速离散推理、Async ReAct、双模型架构,都是实现它的候选机制,可以竞争,也可以混合。

这里要分开两件事:认知的连续性,和计算执行的连续性。前者是理想智能体必须具备的能力,后者只是实现它的一种方式。离散推理配合持久化的状态,同样可以保留长期形成的中间结论和假设。

因此,研究问题可以从”如何让推理持续进行”,改为”如何让认知状态持续有效,并以足够低的延迟更新”。

前面两节里的能力和路线,可以放到两个互相独立的轴上看:推理是离散调用还是持续进行,交互和推理是一条流还是两条流。

离散推理持续推理
单流ReAct、Async ReAct(1-1 第 1–2 节)单一序列、帧间隐向量(3-0)
双流实时模型加后台的离散推理(2-1 第 2 节、3-1)共享模型的双序列(3-0 第 4 节)

四个格子都有对应的做法。双流解决的是推理还在跑时谁来回应用户;持续推理解决的是新输入什么时候能进入正在跑的推理。持续推理不等于认知并发:持续推理可以由一条计算流增量执行,双流也可以由多次离散调用构成。两条线分开讲:1-x 讲持续推理,2-x 讲双流,入口分别是 1-0 和 2-0;两者只在一处相接,就是双流里推理流怎么吸收新约束,持续推理是那个问题的候选解之一(2-1 第 7 节)。

这两个轴上的问题,1-1 从 ReAct 到持续推理 和 1-3 全双工模型的联合建模 已经分别从 Runtime 和模型两侧展开,这里只列出三条路线的要点。

路线一:单推理流,中途插入新输入

推理进行中,新输入在下一个 Token 边界插入,模型接着写。对自回归模型来说,追加不会让已有的 KV 失效,难点不在恢复计算,而在模型能否在保留旧推理的前缀上只修正受影响的部分。见 1-2 第 1.3 节。对应 3-0 第 3 节的单一序列方案:说话和推理只能轮流。

路线二:统一模型的多个逻辑推理流

同一套模型参数承载多个推理上下文,Interaction Stream 和 Reasoning Stream 在逻辑上独立推进。需要解决的是两条流之间如何交换信息、新用户输入影响哪条流、旧结果晚到怎么办。对应 3-0 第 4 节的双序列方案。

路线三:推理预算随输入调整

这不是一种架构,而是三种架构都要有的能力:模型根据问题的难度和紧迫程度,决定想多深、什么时候停,新输入到达后再追加或停止。用户说”停一下”,只需快速停下;用户要求证明复杂结论,就多想一会儿。见 1-3 第 4.5 节。

8. 理想实时交互系统应该是什么样的?

Section titled “8. 理想实时交互系统应该是什么样的?”

我们先不限定系统使用一个模型还是多个模型。

理想系统应该让用户感觉自己面对的是一个持续存在、理解当前情况、能够随时交流与行动的智能体。

例如:

用户:“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”

AI:“好的,我先查各区的租金。”

用户:“刚才说错了,公司在张江。”

AI:“明白,按张江来看。”

用户:“对了,浦东那边通勤方便吗?”

AI:“目前看可能还行,我还在验证。”

用户:“继续吧,找到问题后告诉我。”

AI 回答通勤问题时,张江这条约束可能还没在推理里生效。生效之前,AI 不应说旧前提下得出的结论(2-1 第 4.1 节、1-3 第 5 节)。“可能……我还在验证”这样按把握程度措辞,正是 1-3 第 5 节建议的做法。

这里有几个值得注意的特征。

首先,用户没有严格区分指令、追问、补充和确认。

其次,AI 的工作不会因为每次交流而从头开始。

再次,AI 可以根据已有状态给出阶段性回答,而不必等待最终结果。

最后,用户可以在任何时刻影响系统的目标和执行方向。

这就是理想交互范式希望提供的体验。

User / Environment
语音 · 视觉 · 文本 · 外部事件
↓
Unified Interactive Intelligence
持续感知 · 状态更新 · 决策 · 表达与行动
Perceive → Update → Decide → Act
↑ │
└────────────────────────┘
Interactive Loop
↓
Execution Runtime
任务执行 · 权限 · 工具 · 状态 · 事件确认
↓
External Environment
文件 · 浏览器 · API · 代码 · 外部应用

这是逻辑架构,而不是具体软件组件图。

这里最重要的设计原则是:

模型可以统一智能能力,但不应取代可靠的外部执行与状态管理。

即使模型非常强大,工具调用仍然可能耗时,文件修改仍然产生副作用,用户授权仍然需要可验证的记录。

因此,一个理想的统一模型,并不意味着系统只需要一个模型进程便可以完成所有工作。

这也是“单模型”讨论中容易混淆的一点。

即使未来一个模型能够同时处理语音交互、复杂推理和行动规划,实时响应与长时间推理依然可能具有不同的计算需求。

一个模型可能需要多个逻辑工作状态,各自有独立的上下文和计算进度。

因此:

单模型与多执行流并不矛盾。

共享权重、双推理流的做法见 3-0 第 4 节;统一模型不等于单一执行流,见 2-3 第 11.2 节。

2-3 第 11.2 节把这一点写成 Unified Intelligence 不等于 Serial Execution,本篇和后面几篇都以它为前提。

未来的模型组织形式仍有不确定性。真正重要的是系统是否能够提供统一、连续的智能体验,而不是内部到底调用了几个模型实例。

9. Interactive Loop:新的核心运行范式

Section titled “9. Interactive Loop:新的核心运行范式”

这一节只给出循环的形状。它的系统实现,Session、Event、Action、Task、State 五类对象和 Runtime 的职责,在 2-2 实时交互系统架构与协议 里展开。

9.1 不再以用户请求作为唯一驱动源

Section titled “9.1 不再以用户请求作为唯一驱动源”

传统 Agent 的执行通常从用户请求开始。

而在 Continuous Interactive Agent 中,触发系统行为的事件可以来自多个来源:

  • 用户的新输入。
  • 外部工具的执行结果。
  • 环境变化。
  • 已有任务的状态更新。
  • 定时事件。
  • 系统内部需要处理的待完成工作。

这意味着系统不应该只有一个“请求开始、响应结束”的主生命周期。

9.2 持续的感知、决策与行动循环

Section titled “9.2 持续的感知、决策与行动循环”

可以将 Interactive Loop 抽象为:

Perceive→Update State→Decide→Act\text{Perceive} \rightarrow \text{Update State} \rightarrow \text{Decide} \rightarrow \text{Act}

模型接收新事件,结合持续状态决定下一步行为。

行为可以包括:

  • 说话。
  • 保持沉默并继续倾听。
  • 启动工具。
  • 等待外部结果。
  • 修改任务计划。
  • 请求用户确认。
  • 取消或暂停某项工作。

随后,行为产生的新结果再次进入系统,触发后续决策。

9.3 Interactive Loop 不应是一个阻塞式大循环

Section titled “9.3 Interactive Loop 不应是一个阻塞式大循环”

如果系统必须等待当前 Action 完成后,才能读取下一个 Event,那么它仍然难以提供实时交互。

因此,理想的 Interactive Loop 应当允许多个未完成行动同时存在。

例如:

Interaction Loop
│
├── 持续接收用户输入
│
├── 输出语音回应
│
├── 等待工具 A 返回
│
├── 处理工具 B 的完成事件
│
└── 更新正在执行的任务目标

这些活动并不一定同时占据 CPU,但应该能够在逻辑上独立推进。

这将异步执行、事件驱动与持续交互联系在一起。

异步是实现执行解耦的基础机制,而 Interactive Loop 则定义系统如何利用这些机制持续理解和响应世界。但异步只解决“不必等”,不解决“结果还算不算数”(1-1 第 2.5 节)。

10. 双脑架构在这一演进中的位置

Section titled “10. 双脑架构在这一演进中的位置”

当我们定义了理想的 Continuous Interactive Agent 后,就可以重新理解当前的双脑设计。

双脑并不是实时交互系统的必要定义,而是当前技术条件下的一种实现策略。

例如:

  • 前台实时模型负责感知与自然对话。
  • 后台 Agent 负责复杂推理和长期执行。
  • 系统协调层维护任务和对话之间的关系。

GPT-Live 的公开架构已经体现了这种模式:实时语音对话可以在后台任务运行期间继续,应用负责权限、确认和任务状态。5

为什么需要这样拆分?

一方面,实时语音对话要求低延迟;另一方面,复杂推理与工具执行可能持续很长时间。

将两者拆分,可以减少长任务对实时交互的直接影响。

这里要分开两件事。用两个独立的模型,是过渡的部分:当未来实时模型具备更强的深度推理、持续状态管理和行动能力时,这些能力有可能逐步向统一模型内部收敛。把交互和深度推理分成两条流,在统一模型里仍然保留:深度推理的时间远超交互节奏,推理还在跑时,仍需要有东西先回应用户。这个需求来自任务难度,与推理速度无关(见 1-2 第 2 节;统一模型里的双推理流见 3-0 第 4 节)。

理想能力当前可能的过渡实现
持续感知与交互GPT-Live
复杂推理和工具行动Codex
任务与对话状态关联系统协调层
运行中目标调整用户意图解析与 Agent Steering
执行状态反馈后台事件与实时交互协调

这里的目标不是永远维护两套智能系统,而是借助当前架构接近理想的连续交互体验。这条过渡路线的具体设计见 3-1 GPT-Live + Codex:双脑过渡架构。

不过,模型能力是否最终统一、哪些能力适合继续模块化,仍然需要研究,而不宜过早下结论。

11. 如何评价一个真正的实时交互智能体?

Section titled “11. 如何评价一个真正的实时交互智能体?”

传统 Agent 的评估通常关注任务成功率、推理能力、工具使用能力、执行成本等。

但这些指标无法完整描述持续交互体验。

我认为至少还需要考虑以下维度:

评价维度主要问题
Responsiveness用户输入后能否及时获得有意义的响应?
Interruption用户能否及时打断并改变系统行为?
Continuity交互是否保持自然连续?
Controllability用户是否能够持续观察和控制任务?
State Consistency模型对任务状态的理解是否与实际执行一致?
Adaptability新要求能否正确改变后续行动?
Task Quality持续交互是否影响最终任务质量?
Efficiency系统能否合理分配推理与执行资源?

这些是系统和体验层面的维度,模型层面的指标见 1-4 第 2 节。它们应当联合评估。

例如,一个系统可以做到极快回应用户,却因为频繁打断后台推理而导致任务质量下降。

另一个系统可能任务完成率很高,但在执行过程中完全无法回应用户。

二者都不能被视为理想的实时交互智能体。

因此,未来的系统优化目标需要从单纯的 Task Completion,扩展到 Task Completion + Interaction Quality。

以上分析给出了一个方向,但仍有一些基础问题需要继续研究。

我认为不需要完全消失。

Turn 仍然可以用于描述一次语音发言、一次模型生成或一次任务执行片段。

真正需要改变的是:

Turn 不应再成为整个智能体接收输入与调整行为的唯一边界。

12.2 持续状态应该由模型还是 Runtime 维护?

Section titled “12.2 持续状态应该由模型还是 Runtime 维护?”

模型需要理解当前目标和环境。

但外部任务状态、权限记录和执行结果需要可靠管理。

二者之间如何划分状态边界,将直接影响系统的可靠性与演进能力。

12.3 长时间推理如何与实时响应共存?

Section titled “12.3 长时间推理如何与实时响应共存?”

如果深度推理占用了唯一推理路径,用户干预可能被延迟。

在一个模型内部,3-0 三种架构 比较了三种架构:单一序列、共享权重的双序列、帧间隐向量推理;通过多个模型协作解决,是 3-1 GPT-Live + Codex:双脑过渡架构 的过渡方案。这些做法更可能混合使用,而不是由一条路线胜出(见第 7.1 节)。

12.4 Interactive Loop 应该有多大的自主性?

Section titled “12.4 Interactive Loop 应该有多大的自主性?”

持续运行的智能体是否应该在没有用户输入时主动思考和行动?

什么时候应该提醒用户,什么时候应该保持沉默?

这些问题不仅是系统技术问题,也涉及用户体验、授权范围和自主性边界。

编号文档讲什么
0-0从 Turn-Based Agent 到 Real-Time Interactive Agent综述:问题、目标、两个轴、系列地图
1-0持续推理:为什么、解决什么、引入什么持续推理这条线的入口:目标、问题、怎么做、模型要学什么、难点、边界,指向 1-1 到 1-4
1-1从 ReAct 到 Async ReAct,再到持续推理范式:ReAct、Async ReAct、持续推理各跨过什么边界;三种运行方式的公式
1-2新输入怎么进入进行中的推理做法:重跑、Steer、增量修正的前缀相同,差别在模型会不会修正;缩短计算还是吸收变化;Micro-Turn
1-3全双工模型的联合建模建模:Speak 不必是独立 Action,六个维度,State Evolution,推理预算,输出的时机与内容,统一建模目标
1-4持续推理的训练与评测训练数据、训练目标、对照实验、指标,还没有答案的问题
2-0双流:为什么、解决什么、引入什么双流这条线的入口:为什么、解决什么、引入什么,指向 2-1 到 2-3
2-1双流双流为什么、解决什么、引入什么;持续推理能替它省掉哪些协调成本
2-2实时交互系统架构与协议双流的系统层:事件、行动、任务、状态与协议
2-3异步执行、调度与任务控制双流的运行时:异步执行、调度、运行中控制、一致性与恢复;推理 Runtime 的新职责
3-0三种架构两个轴的组合:方案 A、B、C1 的比较;快速离散推理和两个模型是退化情况
3-1GPT-Live + Codex:双脑过渡架构过渡实现:用两个模型做双流加离散推理

传统 LLM Agent 已经从单轮问答发展为能够长期执行任务的自主系统,但其交互方式仍然主要围绕离散的 Turn 组织。

这造成了一种不对称:

Agent 可以持续工作,用户却未必能够持续参与。

Real-Time Interactive Agent 试图改变这种关系。

它希望让用户与 AI 的协作成为一个持续的过程,而不是一系列孤立的请求与响应。

从本文分析可以得到五个主要结论。

第一,实时交互不只是低延迟。

它还要求持续感知、状态连续性、及时干预和动态行动调整。

第二,ReAct 本身并不与实时交互矛盾。

ReAct 是一种闭环决策思想,真正需要演进的是以封闭 Turn 组织推理和行动的执行方式。

第三,全双工能力应该从感知延伸到认知与行动。

仅仅能够边听边说,还不足以支持一个持续工作的智能体。

第四,Interactive Loop 应该成为实时智能体的核心运行范式。

它以事件和持续状态为中心,让感知、决策、行动与反馈形成开放的闭环。

第五,双脑只是可能的过渡架构,而不是最终目标本身。

未来可以是一个统一模型,也可以是多个执行流或模型协作。过渡的只是两个独立的模型;交互与深度推理分成两条流,在统一模型里仍然保留,因为深度推理的时间远超交互节奏。真正重要的是用户面对一个持续、自然、可靠、可控制的智能体。

最终,我们希望实现的转变是:

从 Request-Driven、Turn-Centric Agent,走向 Event-Driven、Stateful、Full-Duplex Interactive Agent。

这不仅是交互界面的升级,也可能意味着模型训练目标、推理方式和 Agent Runtime 的共同演进。

Footnotes
  1. OpenAI. Getting Started with GPT-Live. 实时语音交互与后台委派的公开能力。 ↩ ↩2

  2. Thinking Machines Lab. (2026). Interaction Models: A Scalable Approach to Human-AI Collaboration. 模型原生的连续多模态交互。 ↩ ↩2

  3. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. 推理与行动闭环。 ↩

  4. Défossez, A., et al. (2024). Moshi: A Speech-Text Foundation Model for Real-Time Dialogue. Kyutai. 原生音频全双工与语音文本联合建模。 ↩

  5. OpenAI. Delegation and Tools in GPT-Live. 实时交互与后台推理分离的协议机制。 ↩ ↩2

  6. Lu, J., et al. (2026). Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems. EMNLP 2026. ↩