跳转到内容

Interactive Agent2-2 · 双流

实时交互系统架构与协议:从 Turn-Centric 到 Event-Driven Interactive Runtime

实时交互系统的逻辑架构与协议设计,讨论持续交互、事件、行动、任务、状态与可靠执行。

更新于 阅读约 25 分钟

0-0 从 Turn-Based Agent 到 Real-Time Interactive Agent 讨论了实时交互智能体的理想形态;1-0 和 2-0 分别是持续推理和双流两条线的入口。

我们认为,未来的 AI Agent 应当从以离散请求为中心的 Turn-Based Agent,逐渐走向能够持续感知、维护状态、动态决策和执行行动的 Continuous Interactive Agent。

但模型能力的进步并不足以独立完成这种转变。

即使一个模型已经能够同时听说、持续推理并调用工具,外部工具仍然具有独立的执行时间,用户输入仍然可能在任意时刻到达,文件修改和 API 调用仍然可能产生不可撤销的副作用。

因此,我们需要一种能够支撑持续交互的系统架构。

本文提出一个面向理想统一模型的架构:

Full-Duplex Interactive Model + Event-Driven Interactive Runtime。

其中,模型负责持续感知、理解、推理与决策;Runtime 负责事件传递、行动执行、状态持久化、权限控制和执行确认。二者通过支持双向流式通信、异步行动和持续状态的协议协作。

本文的核心观点是:

实时交互系统不应该再让 Turn 成为整个智能体的唯一执行边界,而应该将 Event、Action、Task 和 State 作为一等系统对象,通过持续运行的 Interactive Loop 组织交互与行动。

这并不意味着完全取消 Turn,也不意味着所有操作都必须异步。真正的目标是在多个独立时间尺度之间建立明确、可靠的协调关系。

本文讨论理想系统的逻辑架构和协议设计,不预设双脑模型,也不将某个现有 API 当成未来协议的最终形态。

1. 问题背景:模型持续交互,系统却仍以请求为中心

Section titled “1. 问题背景:模型持续交互,系统却仍以请求为中心”

传统 LLM 应用通常围绕一次请求组织模型推理:

Request
↓
Model Inference
↓
Response

引入工具调用后,Agent 可以在一次任务中反复执行:11 Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。

Request
↓
Reason → Act → Observe
↑ │
└──────────────┘
↓
Final Response

这种架构非常适合明确的任务目标。

系统能够将一次任务的模型调用、工具结果和执行状态组织到一个 Turn 中。

但当用户希望随时参与时,就会产生新的问题。

例如,用户要求 AI 调研在上海租房住哪个区合适,说公司在陆家嘴;AI 正在计算各区到公司的通勤时间时,用户突然提出:

刚才说错了,公司在张江。

此时系统必须处理两个同时存在的过程:

  • 一个已经开始、尚未完成的后台行动。
  • 一个刚刚到达、可能改变该行动的新用户要求。

新的输入不能简单等同于下一个独立 Request,因为它可能直接影响正在执行的工作。

一个实时交互系统需要处理的信息,不再只有完整的用户消息和最终回答。

它还需要接收:

  • 增量语音和视频输入。
  • 用户插话与表达修正。
  • 工具执行结果。
  • 后台任务进度。
  • 运行中控制请求。
  • 用户确认与权限事件。
  • 超时和外部环境变化。

这些信息有独立的发生时间,也可能相互重叠。

因此,需要从:

Request → Execution → Response

转向:

Event → State Update → Decision → Action → New Event

但这里必须避免另一个极端:并不是每个音频片段都应该成为一次完整的 Agent 决策。系统需要根据事件类型、时间约束和语义重要性选择处理粒度。

理想的实时交互系统应该允许用户在 AI 持续执行复杂任务时,仍然保持自然的交互。

例如:

用户:“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”

AI:“我先查各区的租金和地铁线。”

用户:“刚才说错了,公司在张江。”

AI:“好的,张江。”

用户:“目前看哪个区靠谱?”

AI:“目前看浦东的租金比徐汇低两成,这一点和公司位置无关;通勤还在按张江重算。”

用户:“继续吧。”

在这个过程中,用户输入、模型输出和后台行动并不严格遵循单一的轮次边界。

系统需要同时满足交互响应性、任务连续性和执行正确性。

原则设计要求
Continuous Interaction系统持续接受输入,不受单个任务生命周期约束
Independent Activities语音交互、推理与外部行动可以独立推进
Event-Driven Coordination新事件能够触发状态更新与后续决策
Explicit State任务、行动和执行事实具有明确的系统表示
Verifiable Control控制请求与实际执行结果必须区分
Evolvable Architecture不应将系统永久绑定到单模型或双模型实现

最后一项尤其重要。

我们设计的是一种交互和执行协议,而不是把当前某两个模型的接口直接拼接起来。

理想情况下,未来模型能力变化时,应用级任务、行动和状态语义仍然可以保留。

3. 理想实时交互系统的总体架构

Section titled “3. 理想实时交互系统的总体架构”

从逻辑上看,我建议将系统划分为五个部分:

  1. 实时输入输出层(Real-Time I/O)。
  2. 统一交互模型(Unified Interactive Model)。
  3. 交互运行时(Interactive Runtime)。
  4. 状态与事件存储(State & Event Store)。
  5. 外部执行环境(Execution Environment)。

需要强调:这是逻辑职责划分,并不代表必须部署五个独立进程或服务。

Layered architecture of a real-time interactive system

这是结构示意图。实际数据流并非只有一条自上而下的路径:输入和输出是并行的,Runtime 可以持续向模型发送执行观察,状态存储也与模型及执行器进行不同形式的读写。

层次核心职责不应该承担什么
Real-Time I/O音视频传输、时间对齐、播放和连接复杂任务决策
Interactive Model感知、理解、推理、交互与行动选择以自身判断替代实际执行确认
Interactive Runtime调度、行动执行、任务控制、权限重复实现模型的语义推理
State & Event Store保存可验证状态和历史独立决定用户意图
Execution Environment真正执行工具和产生外部副作用保证上层模型理解正确

这里存在一个重要边界:

模型可以决定应该做什么,但不应仅凭自己的输出就认定事情已经完成。

例如,模型发出取消任务请求,不意味着任务已经取消。

执行器必须返回真实状态,模型才能据此向用户说明。

4. Interactive Loop:系统的核心运行方式

Section titled “4. Interactive Loop:系统的核心运行方式”

4.1 Interactive Loop 不等于传统 Agent Turn

Section titled “4.1 Interactive Loop 不等于传统 Agent Turn”

传统 Agent Turn 往往有明确的起点和终点。

User Request
↓
Agent Turn
↓
Final Result

而 Interactive Loop 是一个更长期的系统概念。

它在会话存续期间持续处理事件、更新状态,并决定下一步行为。

External Events
↓
Update State
↓
Decide
↓
Dispatch Actions
↓
Observe Outcomes
└────────→ Update State

其中,Action 不一定要立即完成。

系统可以在等待某个工具结果的同时,继续处理新的用户输入。

4.2 一个完整事件驱动循环的概念模型

Section titled “4.2 一个完整事件驱动循环的概念模型”
async def interactive_loop():
while session.active:
events = await receive_events()
state = update_state(state, events)
decisions = model.decide(state)
for decision in decisions:
await dispatch_without_waiting_for_completion(
decision
)

这只是抽象伪代码,不是推荐的最终实现。

真实系统还需要处理事件顺序、操作确认、任务版本、取消、背压和异常恢复。

另一个需要注意的问题是:不应该把所有行动简单地无限制并发提交。 Runtime 需要根据资源、权限、依赖和一致性要求决定哪些行动可以并发,哪些必须等待。

我认为理想系统至少存在两种持续活动。

Interaction Loop

负责持续感知用户、维持对话和实时反馈。

Agency Loop

负责长期目标、规划、工具行动及环境观察。

它们可以共享一个统一模型,但逻辑上的时间尺度不同。

Interaction LoopAgency Loop
主要输入语音、视觉、用户动作目标、工具结果、环境事件
主要输出语音、文本、交互控制工具操作、计划调整、任务控制
时间要求低延迟依任务而定
工作范围持续交互会话跨越较长时间的任务
终止条件会话关闭或交互结束任务完成、取消、失败等

统一模型不意味着两个循环必须串行执行。

同一个模型可以支持多个逻辑推理上下文,实际执行由推理 Runtime 组织。这仍然属于未来架构的可能形式,而不是所有现有模型已经实现的能力。两个循环之间的资源争用,在本文第 11.3 节和 2-3 第 10.3 节讨论;1-3 第 3 节假设两者的计算资源分开分配,不讨论这个问题。

这组前后台拆分在本系列里有三个名字:模型层叫 Interaction Stream 与 Reasoning Stream(2-1 双流、3-0 三种架构),系统层叫 Interaction Loop 与 Agency Loop,双脑实现里叫 Foreground 与 Background Intelligence(3-1 GPT-Live + Codex:双脑过渡架构)。它们是同一条边界在不同层的投影。

5. 从 Turn-Centric Protocol 到 Event-Centric Protocol

Section titled “5. 从 Turn-Centric Protocol 到 Event-Centric Protocol”

这可能是整篇文档最重要的协议设计问题。

5.1 传统协议为什么以 Turn 为中心?

Section titled “5.1 传统协议为什么以 Turn 为中心?”

经典 Chat API 通常将消息组织为:

{
"messages": [
{"role": "user", "content": "调研上海租房,公司在陆家嘴"},
{"role": "assistant", "content": "开始调研"}
]
}

模型基于当前消息历史产生响应。

这种设计简单、清晰,适合离散交互。

但是对于实时系统,我们还需要表达:

  • 用户和 AI 同时讲话。
  • 工具在后台执行。
  • 新输入中途到达。
  • 用户取消部分行动。
  • 任务结果在对话期间返回。
  • 某些事件不应该立即转换成语音。

将这些内容全部压缩成一个线性消息数组,容易丢失实际的时间关系和操作语义。

我建议将 Event 作为系统内部最基础的交换单元之一。

Event 表示某件事情发生了,或者某项执行产生了新的观察。

例如:

{
"event_id": "evt_1042",
"session_id": "session_01",
"type": "input.speech.final",
"source": "user",
"timestamp_ms": 18420,
"payload": {
"text": "刚才说错了,公司在张江"
}
}

这是本文提出的示例协议,不属于当前某个现有 API 的正式 Schema。

对于实时多模态系统,事件需要能够表达:

  • 事件身份。
  • 所属会话。
  • 事件类型。
  • 发生时间。
  • 事件来源。
  • 数据内容。
  • 与其他事件的关联。

在需要可靠控制的场景中,还应包含因果关系、序列号和状态版本等信息。

5.3 Event 不应该取代所有其他协议对象

Section titled “5.3 Event 不应该取代所有其他协议对象”

需要区分 Event、Command 和 Action。

Event(事件) 表示已经发生的事实。

例如:工具执行完成、用户完成一次输入、任务状态发生变化。

Command(控制请求) 表示系统要求某个执行实体采取操作。

例如:取消任务、暂停执行、修改约束。

Action(模型行动) 表示模型选择执行的行为。

例如:生成语音、调用工具、请求用户确认。

这三者不能完全混淆。

例如:

User requests cancellation
↓
Model proposes Cancel Action
↓
Runtime validates Command
↓
Executor accepts cancellation
↓
Task stops
↓
TaskCancelled Event

其中任何一步都不应该被自动等同于最后一步。

我建议以五类对象作为理想协议的基础:

Session、Event、Action、Task、State。

它们分别描述持续交互、事件输入、行动输出、长期目标以及系统当前事实。

Session 代表一个持续存在的交互上下文。

它可以包含:

  • 当前用户和设备连接。
  • 音频、视频和文本流。
  • 模型交互状态。
  • 当前关注的任务。
  • 会话内的事件与消息。

但 Session 不应天然等同于 Task。

用户可能在一个语音 Session 中创建多个任务;一个后台 Task 也可能在用户关闭语音会话后继续执行。

因此:

Session Lifecycle 与 Task Lifecycle 应当相互独立。

这对长期运行的智能体非常重要。

Event 是已经发生的输入、状态变化或执行结果。

例如:

input.audio.chunk
input.speech.final
user.interruption.detected
tool.execution.completed
task.status.changed
permission.requested

这些事件可以由用户、模型、Runtime 或外部工具产生。

对于持续输入,事件可以是增量性的;对于执行结果,则可能包含最终状态。

系统不应要求所有事件都形成完整的自然语言 Turn。

Action 表示模型提出的一项行为。

例如:

speech.generate
tool.execute
task.create
task.update
task.cancel
user.confirmation.request

与传统 Function Calling 相比,这里最重要的变化不是工具名称,而是:

Action 应当拥有自己的身份、生命周期和执行结果。

例如:

{
"action_id": "act_501",
"session_id": "session_01",
"type": "task.cancel",
"target": {
"task_id": "task_42"
},
"expected_revision": 7
}

Runtime 接收到行动请求后,需要验证目标是否存在、操作是否允许,以及当前版本是否满足条件。

Task 与 Action 的区别尤其重要。

例如,用户说:

“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”

这可以创建一个 Task。

在完成该任务的过程中,模型可能产生很多 Action:

  • 查询各区的租金。
  • 查询地铁线。
  • 计算各区到公司的通勤时间。
  • 预约看房。
  • 请求用户确认。

所以:

Task 表示长期工作目标,Action 表示某一次具体行动。

一个 Task 可以跨越多个 Action、模型推理过程和用户对话轮次。

同时,一个 Task 也可以包含子任务。

但这种逻辑任务结构不应直接等同于某个 Agent Runtime 内部的 Thread 或 Subagent。

6.5 State:系统当前处于什么状态?

Section titled “6.5 State:系统当前处于什么状态?”

State 是系统对当前情况的明确表示。

我建议至少区分三类:

状态类别主要内容权威来源
Interaction State当前对话焦点、输入输出状态、用户意图假设模型与交互层
Task State任务目标、约束、进度、生命周期Task Runtime
Execution State实际工具执行、文件操作、授权与执行结果执行环境与可靠记录

这种区分能防止一个常见错误:

模型认为某件事情已经完成,于是系统将其当成真实事实。

例如,模型可能判断用户希望取消当前任务,但最终是否成功取消,仍然需要执行系统确认。

Session, Event, Action, Task and State and how they relate

这也是为什么我不建议简单用一个 conversation_id 或 turn_id 表示系统里的全部工作。

不同对象具有不同的身份、状态和生命周期,应该能够独立寻址。

对于实时交互系统,时间是协议中的核心语义,而不只是日志里的一个字段。

假设用户在 AI 讲话期间说:

“等一下。”

这里至少存在三个时间:

  • 用户实际开始说话的时间。
  • 系统收到对应音频的时间。
  • 模型或 Runtime 开始处理打断的时间。

如果只记录最后一个时间,就无法准确评估感知延迟与实际交互响应。

因此,建议区分:

时间信息含义
Event Time事件在源端实际发生的时间
Receive TimeRuntime 接收到事件的时间
Process Time系统处理事件的时间
Effective Time某项控制操作实际生效的时间

此外,多设备或跨网络部署时,不同机器的时钟可能存在偏差。

因此,时间戳应该带有明确的时间基准;需要精确顺序时,还应使用序列号或因果关系,而不是只比较墙上时钟。

假设:

T1 用户:“公司在张江,不是陆家嘴”
T2 Codex 完成一次按陆家嘴附近的看房预约
T3 Runtime 收到看房预约完成事件
T4 Runtime 收到用户指令的最终转录

这里用户的语音可能先发生,却因为转录处理延迟而晚于执行事件进入系统。

因此:

仅按照事件到达顺序处理,未必能够正确表达事件之间的实际关系。

但系统也不能仅凭音频时间戳就自动推断控制已经生效。

它需要明确哪一项命令已经被接受,以及从哪个执行边界开始生效。

我建议协议支持类似以下字段:

{
"event_id": "evt_204",
"type": "action.completed",
"action_id": "act_501",
"caused_by": "evt_198",
"task_id": "task_42",
"revision": 8
}

其中:

  • action_id 将执行结果与具体行动关联。
  • caused_by 表达因果来源。
  • task_id 表达所属任务。
  • revision 表达状态版本。

这样可以回答:

“这个执行结果到底对应用户的哪一次要求?”

对于长期交互系统,这比简单维护按时间排列的聊天记录更加可靠。

第 7.2 节和本节的问题,是 1-2 第 1 节“计算期间状态在变”和 3-0 第 4 节“旧结果晚到”在系统层的形式。revision 只能查出机械上过期的结果,即计算所依据的版本已不是当前版本;旧结论在语义上是否仍然成立,由模型判断(1-2 第 1.3 节、2-3 第 11.1 节)。

即使未来只有一个统一全双工模型,外部执行也仍然具有异步性。

一个工具调用可能需要数秒或数分钟。

因此,系统需要允许 Action 在提交后独立推进,并通过后续事件返回状态。

Action Proposed
↓
Validated
↓
Accepted
↓
Running
↓
Completed / Failed / Cancelled

这是一种逻辑状态模型,真实系统可以针对不同类型的 Action 使用不同状态机。

重要的是:

模型发出 Action 不代表 Action 已经执行。

例如:

{
"type": "action.status",
"action_id": "act_501",
"status": "accepted"
}

这里只表示请求被接受。

随后执行器可能返回:

{
"type": "action.status",
"action_id": "act_501",
"status": "completed",
"result": {
"files_modified": 3
}
}

此时才能将执行完成作为事实记录。

实时交互系统中,用户说“停止”可能对应多种操作。

控制范围实际含义
Speech Output停止正在播放的语音
Model Generation中断当前输出生成
Reasoning Work暂停或取消某项推理工作
Action取消某个工具操作
Task停止整个长期任务
Session结束实时交互会话

这些操作不应该共用一个含义模糊的 interrupt。

例如,用户打断 AI 的讲话,不代表希望取消后台研究任务。

同理,用户希望取消某个 Task,也不意味着必须关闭整个语音 Session。

因此,我建议将 Cancellation Scope(取消范围) 作为协议中的明确概念。

Steering 比取消更复杂。

它不是让任务结束,而是让新约束影响后续执行。

例如:

公司在张江,不是陆家嘴,按张江继续调研。

对应的控制请求可以表示为:

{
"command_id": "cmd_88",
"type": "task.update",
"task_id": "task_42",
"expected_revision": 7,
"update": {
"office": "Zhangjiang"
}
}

Runtime 接收后,需要检查当前任务是否仍在运行、版本是否匹配,以及执行器是否能够安全接受修改。

随后可能返回:

{
"type": "task.update.accepted",
"command_id": "cmd_88",
"task_id": "task_42"
}

但这不代表旧计划中所有受影响的行动已经完成修正。

更准确的控制语义应该区分:

  • Requested:修改请求已发起。
  • Accepted:执行器已接受修改请求。
  • Applied:新约束已应用于明确的执行边界。
  • Reconciled:既有执行结果中需要修正的部分已处理。

不是所有 Steering 都需要完整的 Reconciliation,但对于可能产生外部副作用的任务,这种区分很有价值。

这里的 Applied 和 2-1 第 4.1 节推理流上报的 applied 确认是同一个想法,只是在两层:这里由执行器确认,那里由推理流确认。正在运行的工具调用也是推理状态的一部分:它按旧前提发起,前提一变,可能需要取消后重新发起。

这条原则应该贯穿整个协议设计:

模型提出 Action,Runtime 执行并返回可验证的 Observation。

例如:

Cancelling a task: the model requests, the runtime accepts, the executor applies

如果执行失败,模型应该收到失败事件,而不是继续假设任务已经停止。

9. 多流通信:全双工协议应该如何组织?

Section titled “9. 多流通信:全双工协议应该如何组织?”

前面主要讨论了事件与任务语义。

但真正的 Full-Duplex Interactive Agent 还需要支持多条时间上重叠的数据流。

9.1 不能只使用一条线性的消息队列

Section titled “9.1 不能只使用一条线性的消息队列”

假设用户正在讲话,模型同时产生语音,并且某个工具返回了结果。

多流交互时间线

这里至少存在四条逻辑流:

  • 用户输入流。
  • 模型输出流。
  • 后台行动流。
  • 工具事件流。

如果强制要求它们按照一条队列串行完成,整个系统就会重新退化成一种受执行边界限制的交互方式。

因此,协议应该支持独立的数据流和跨流事件关联。

音频和视频通常包含高频、大量的数据。

而取消、授权、任务更新等控制消息通常体积很小,却可能具有更高的优先级。

两者不应该采用完全相同的处理策略。

流类型主要内容关键要求
Media Stream音频、视频低延迟、连续性、时间对齐
Interaction Events转录、打断、交互状态及时处理
Control StreamCancel、Steer、Permission可靠性、优先级、执行确认
Execution Events工具结果、状态更新身份关联、顺序、去重
State Synchronization当前状态与版本可恢复、一致性

例如,积压的音频数据可能需要丢弃过期帧,以保证实时播放。

但任务取消命令不能因为网络拥塞而被简单丢弃。

因此,实时媒体传输与可靠控制消息可能需要不同的传输和队列策略。

9.3 全双工不是“两个独立流”那么简单

Section titled “9.3 全双工不是“两个独立流”那么简单”

即使输入与输出流能够同时传输,也不能保证模型具有自然的交互行为。

例如:

  • 用户开始插话时,模型是否应该停止讲话?
  • 用户只是发出简短附和时,模型是否应该继续?
  • 工具结果到达时,是否适合立即口头反馈?
  • 用户正在输入新要求时,是否应该暂停某项行动?

这些是模型策略和运行时协调问题,而不是通信传输层本身能够解决的问题。

所以:

Full-Duplex Transport 是必要基础,但不是 Full-Duplex Intelligence 的充分条件。

10. State & Event History:持续状态与恢复

Section titled “10. State & Event History:持续状态与恢复”

如果系统可以持续运行,而且后台任务不依赖单次交互会话,那么状态持久化就变得十分重要。

10.1 为什么不能只依赖模型上下文?

Section titled “10.1 为什么不能只依赖模型上下文?”

模型上下文可以帮助理解当前对话和任务。

但它不应该成为所有执行事实的唯一保存位置。

例如:

  • 某个工具是否真正执行成功?
  • 用户是否授权了一次有风险的操作?
  • 文件修改进行了哪些步骤?
  • 后台任务是否仍在运行?
  • 一项 Cancel 是否已经生效?

这些需要可靠记录。

如果只保存模型生成的自然语言总结,很难满足恢复、审计和错误处理的需求。

Event History 可以记录任务和行动的状态变化。

例如:

TaskCreated
ActionRequested
ActionAccepted
ActionStarted
ToolResultReceived
TaskUpdateRequested
TaskUpdateApplied
ActionCompleted
TaskCompleted

这样的事件历史可以支持:

  • 查看执行过程。
  • 重建任务状态。
  • 分析错误。
  • 关联用户控制请求。
  • 防止重复执行已经完成的操作。

但拥有 Event Log 不等于自动拥有可靠重放能力。

如果希望通过事件历史恢复执行,系统还需要规定事件的顺序、持久化保证、状态转换,以及外部副作用的幂等或补偿策略。

长期运行的系统可能产生大量事件。

如果每次恢复都从第一条事件开始重放,成本会不断增加。

因此,可以结合:

Snapshot

保存某个时间点的完整任务状态。

Event Log

保存 Snapshot 之后发生的状态变化。

概念上:

Snapshot at Revision 100
↓
Event 101
↓
Event 102
↓
Event 103
↓
Current State

这种方式能够减少恢复时需要处理的历史范围。

但需要保证 Snapshot 与事件序列之间存在明确的版本关系。

10.4 Session 恢复与 Task 恢复应分离

Section titled “10.4 Session 恢复与 Task 恢复应分离”

假设用户关闭语音会话,但后台工具仍在执行。

理想系统应允许:

Session A ends, task 42 keeps running, session B reconnects and restores it

因此,Session 终止不应自动决定所有 Task 的终止。

任务是否继续,需要由产品策略、用户授权、资源预算和具体操作类型决定。

11. Interactive Runtime 需要承担哪些职责?

Section titled “11. Interactive Runtime 需要承担哪些职责?”

前面已经定义模型与 Runtime 的边界。

这里进一步讨论 Runtime 应当具有哪些能力。

我建议将其分成五个逻辑子系统。

子系统主要职责
Event Router接收、分发和关联事件
Task Manager维护 Task 身份与生命周期
Scheduler决定任务、控制事件和资源的执行安排
Action Executor执行工具和任务控制操作
State Manager维护可靠状态、版本和历史

这些只是逻辑职责,不要求全部实现为独立服务。

负责把事件送到正确的处理对象。

例如:

  • 音频输入进入交互模型。
  • 工具完成事件关联到对应 Action。
  • 任务状态变化进入 State Manager。
  • 用户控制请求关联到目标 Task。

它需要支持事件关联和去重,而不是仅根据消息文本进行路由。

维护长期任务的身份、状态和生命周期。

需要支持:

  • 创建任务。
  • 查询任务。
  • 关联行动。
  • 修改任务。
  • 取消任务。
  • 保存结果。
  • 任务恢复。

这里的 Task 是应用级语义,不一定等同于一个模型推理请求或一个工具进程。

决定哪些操作需要执行、何时执行,以及如何分配资源。

例如:

  • 高优先级用户打断应及时处理。
  • 后台计算不能持续占用实时交互资源(这个问题在本文和 2-3 第 10.3 节讨论;1-3 假设两者资源分开分配)。
  • 相互依赖的 Action 需要满足执行顺序。
  • 过期任务结果需要检查版本。版本只查出机械上的过期,结论是否仍然成立由模型判断(见第 7.3 节)。
  • 控制请求可能需要优先于普通后台事件。

不过,Scheduler 不负责理解用户自然语言的全部语义。

用户这句话是要取消、追问还是开新任务,由模型理解,并以显式输出的形式交给 Runtime(例如一个取消调用),而不是由单独的意图分类器来判断(见 1-3 第 1.3 节)。

Scheduler 在明确的状态与控制约束下作出执行安排。

执行模型提出的外部行为。

例如:

  • 调用 API。
  • 修改文件。
  • 启动进程。
  • 查询数据库。
  • 发送外部请求。

Executor 应该能够提供执行状态和错误信息。

对于具有副作用的操作,需要考虑权限、幂等、事务和补偿。

负责维护可靠的系统状态。

它需要区分模型的推断与执行环境的实际事实。

例如:

模型判断某项任务已经结束,可以触发状态查询;但不能仅凭该判断直接写入 Completed。

只有当执行结果满足定义好的完成条件时,任务才应转入终止状态。

前面提出的是一个理想协议模型。

它不意味着当前所有实时 API 都已经具备这些能力。

GPT-Live 的公开协议,以及它和这里的理想协议之间的差距,放在 3-1 GPT-Live + Codex:双脑过渡架构 里和 Codex 的能力一起分析。

12.1 为什么不直接使用传统 Agent Protocol?

Section titled “12.1 为什么不直接使用传统 Agent Protocol?”

传统 Agent Protocol 通常围绕消息、工具调用和执行轮次组织。

这对于复杂任务非常有效。

但实时交互还需要支持:

  • 持续媒体输入。
  • 输入输出重叠。
  • 亚秒级交互事件。
  • 独立于任务生命周期的 Session。
  • 运行中控制。
  • 多个未完成行动。
  • 任务结果与用户实际接收结果的区分。

因此,未来协议可以复用传统 Agent 的工具调用语义,但需要更完整的时间与交互表示。

协议是否优秀,不能只通过 Schema 是否完整来判断。

还需要研究它是否真正支持持续交互,以及在异常情况下能否可靠运行。

我建议从四个方面评估。

关注:

  • 输入感知延迟。
  • 语音打断生效延迟。
  • 首次有意义回应的延迟。
  • 高优先级控制事件处理延迟。

尤其要区分用户听到“已经停止”和实际任务停止的时间。

关注:

  • Cancel 是否作用于正确任务。
  • Steering 是否在正确版本上生效。
  • 用户控制指令是否被重复执行。
  • 运行中修改是否破坏已有执行状态。
  • 迟到事件是否覆盖更新后的状态(即 3-0 第 4 节的“旧结果晚到”,见第 7.3 节)。

关注:

  • 连接中断后能否恢复。
  • 任务是否会丢失。
  • 事件是否能够正确关联。
  • 系统能否识别已完成但尚未反馈的任务。
  • 外部操作是否具有明确的副作用管理策略。

关注:

  • 实时交互与后台推理的资源竞争(1-3 第 3 节假设两者分开分配,这一项只在本文和 2-3 评估)。
  • 事件积压与背压。
  • 大量工具事件对模型上下文的影响。
  • 状态同步和日志的存储成本。
  • 多个长期任务并存时的调度开销。

一个理想系统不仅要能够同时处理多个活动,还需要避免无控制的并发造成系统不稳定。

我认为需要。

Turn 仍可以描述一次用户发言、模型生成或执行片段。

但它不应成为整个交互系统的唯一生命周期边界。

未来协议可能同时拥有:

  • 长期 Session。
  • 持续 Task。
  • 独立 Action。
  • 局部 Turn。
  • 增量 Event。

这些对象彼此关联,但不应强制共享同一个开始和结束时刻。

14.2 Event-Driven 是否意味着所有决策都由事件触发?

Section titled “14.2 Event-Driven 是否意味着所有决策都由事件触发?”

不一定。

即使没有新的外部事件,系统也可能基于已有目标继续推理或行动。

例如,模型正在准备一份研究报告,当前并没有用户新输入,但仍需要继续处理下一步工作。

因此,严格来说,理想 Interactive Loop 可以由外部事件、内部状态和持续目标共同驱动。

Event-Driven 是重要特征,但不是唯一驱动力。

14.3 模型内部状态与系统状态如何同步?

Section titled “14.3 模型内部状态与系统状态如何同步?”

未来统一模型可能维护复杂的认知状态。

Runtime 又需要维护任务事实和执行历史。

两者之间如何共享信息、压缩上下文和识别版本变化,是一个关键研究问题。

这可能比单纯增加模型上下文窗口更加重要。

如果模型正在执行长时间推理,新输入如何及时进入当前认知过程?

对自回归模型,新输入可以在下一个 Token 边界插入,模型接着写,不必重新生成(见 1-2 第 1.3 节)。单一序列、共享权重的双序列、帧间隐向量推理三种架构,3-0 三种架构 已经比较。协议层留下的问题是:模型协议与推理引擎的边界划在哪里。

14.5 哪些决策应属于模型,哪些属于 Runtime?

Section titled “14.5 哪些决策应属于模型,哪些属于 Runtime?”

例如:

  • 是否应该在当前时刻打断用户?
  • 是否应该取消某个正在执行的操作?
  • 是否允许并发修改文件?
  • 某项外部行动是否需要授权?
  • 任务是否已经真正完成?

其中一些适合模型进行语义判断,另一些必须由可靠的系统机制执行和确认。

未来需要为这种职责边界建立更明确的设计原则。

本文从理想的 Full-Duplex Interactive Agent 出发,讨论了实时交互系统所需要的架构与协议。

核心观点可以归纳为五点。

第一,实时交互系统应当从 Turn-Centric 向 Event-Centric 演进。

Turn 仍然有价值,但不应该成为持续输入、长期任务和行动控制的唯一边界。

第二,Interactive Loop 是系统的核心运行范式。

系统持续接收事件、更新状态、作出决策,并让行动结果进入下一轮观察。

这个循环不能被一次耗时的工具操作或推理过程完全阻塞。

第三,Session、Event、Action、Task 和 State 应成为明确的系统对象。

它们具有不同的身份、生命周期和一致性要求,不能简单混合在一份聊天历史中。

第四,模型智能与可靠执行应该分离。

模型负责感知、推理、规划和行动决策;Runtime 负责工具执行、权限、任务状态和执行结果确认。

第五,未来统一模型不意味着所有工作都必须串行执行。

实时交互、深度推理和外部行动具有不同的时间尺度。

即使它们由一个统一模型承担,系统仍然需要异步执行、事件协调和计算资源管理。实时交互和后台推理怎样分配计算资源,是本文和 2-3 的问题;1-3 假设两者分开分配。

因此,我认为理想实时交互系统最准确的抽象是:

一个以 Full-Duplex Interactive Model 为智能核心,以 Event-Driven Interactive Runtime 为执行基础,通过持续状态与双向事件流连接用户和外部环境的智能系统。

它的演进目标不是简单将传统 Agent 接上语音接口,而是重新组织人、模型与环境之间的关系。

从:

Request → Reason → Act → Response

走向:

Perceive → Maintain State → Decide → Act → Observe

并允许多个尚未完成的行动和持续输入在时间上重叠。

这将为未来真正的 Continuous Interactive Agent 提供系统基础。

延伸阅读:Thinking Machines Lab 的 Interaction Models。22 Thinking Machines Lab. Interaction Models. 持续交互、多流与时间感知模型。

Footnotes
  1. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。 ↩

  2. Thinking Machines Lab. Interaction Models. 持续交互、多流与时间感知模型。 ↩