Interactive Agent2-2 · 双流
实时交互系统架构与协议:从 Turn-Centric 到 Event-Driven Interactive Runtime
实时交互系统的逻辑架构与协议设计,讨论持续交互、事件、行动、任务、状态与可靠执行。
0-0 从 Turn-Based Agent 到 Real-Time Interactive Agent 讨论了实时交互智能体的理想形态;1-0 和 2-0 分别是持续推理和双流两条线的入口。
我们认为,未来的 AI Agent 应当从以离散请求为中心的 Turn-Based Agent,逐渐走向能够持续感知、维护状态、动态决策和执行行动的 Continuous Interactive Agent。
但模型能力的进步并不足以独立完成这种转变。
即使一个模型已经能够同时听说、持续推理并调用工具,外部工具仍然具有独立的执行时间,用户输入仍然可能在任意时刻到达,文件修改和 API 调用仍然可能产生不可撤销的副作用。
因此,我们需要一种能够支撑持续交互的系统架构。
本文提出一个面向理想统一模型的架构:
Full-Duplex Interactive Model + Event-Driven Interactive Runtime。
其中,模型负责持续感知、理解、推理与决策;Runtime 负责事件传递、行动执行、状态持久化、权限控制和执行确认。二者通过支持双向流式通信、异步行动和持续状态的协议协作。
本文的核心观点是:
实时交互系统不应该再让 Turn 成为整个智能体的唯一执行边界,而应该将 Event、Action、Task 和 State 作为一等系统对象,通过持续运行的 Interactive Loop 组织交互与行动。
这并不意味着完全取消 Turn,也不意味着所有操作都必须异步。真正的目标是在多个独立时间尺度之间建立明确、可靠的协调关系。
本文讨论理想系统的逻辑架构和协议设计,不预设双脑模型,也不将某个现有 API 当成未来协议的最终形态。
1. 问题背景:模型持续交互,系统却仍以请求为中心
Section titled “1. 问题背景:模型持续交互,系统却仍以请求为中心”1.1 传统 Agent 的系统抽象
Section titled “1.1 传统 Agent 的系统抽象”传统 LLM 应用通常围绕一次请求组织模型推理:
Request ↓Model Inference ↓Response引入工具调用后,Agent 可以在一次任务中反复执行:11 Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。
Request ↓Reason → Act → Observe ↑ │ └──────────────┘ ↓Final Response这种架构非常适合明确的任务目标。
系统能够将一次任务的模型调用、工具结果和执行状态组织到一个 Turn 中。
但当用户希望随时参与时,就会产生新的问题。
例如,用户要求 AI 调研在上海租房住哪个区合适,说公司在陆家嘴;AI 正在计算各区到公司的通勤时间时,用户突然提出:
刚才说错了,公司在张江。
此时系统必须处理两个同时存在的过程:
- 一个已经开始、尚未完成的后台行动。
- 一个刚刚到达、可能改变该行动的新用户要求。
新的输入不能简单等同于下一个独立 Request,因为它可能直接影响正在执行的工作。
1.2 从请求边界转向持续事件
Section titled “1.2 从请求边界转向持续事件”一个实时交互系统需要处理的信息,不再只有完整的用户消息和最终回答。
它还需要接收:
- 增量语音和视频输入。
- 用户插话与表达修正。
- 工具执行结果。
- 后台任务进度。
- 运行中控制请求。
- 用户确认与权限事件。
- 超时和外部环境变化。
这些信息有独立的发生时间,也可能相互重叠。
因此,需要从:
Request → Execution → Response
转向:
Event → State Update → Decision → Action → New Event
但这里必须避免另一个极端:并不是每个音频片段都应该成为一次完整的 Agent 决策。系统需要根据事件类型、时间约束和语义重要性选择处理粒度。
2. 设计目标与基本原则
Section titled “2. 设计目标与基本原则”2.1 系统希望实现什么?
Section titled “2.1 系统希望实现什么?”理想的实时交互系统应该允许用户在 AI 持续执行复杂任务时,仍然保持自然的交互。
例如:
用户:“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”
AI:“我先查各区的租金和地铁线。”
用户:“刚才说错了,公司在张江。”
AI:“好的,张江。”
用户:“目前看哪个区靠谱?”
AI:“目前看浦东的租金比徐汇低两成,这一点和公司位置无关;通勤还在按张江重算。”
用户:“继续吧。”
在这个过程中,用户输入、模型输出和后台行动并不严格遵循单一的轮次边界。
系统需要同时满足交互响应性、任务连续性和执行正确性。
2.2 六项核心设计原则
Section titled “2.2 六项核心设计原则”| 原则 | 设计要求 |
|---|---|
| Continuous Interaction | 系统持续接受输入,不受单个任务生命周期约束 |
| Independent Activities | 语音交互、推理与外部行动可以独立推进 |
| Event-Driven Coordination | 新事件能够触发状态更新与后续决策 |
| Explicit State | 任务、行动和执行事实具有明确的系统表示 |
| Verifiable Control | 控制请求与实际执行结果必须区分 |
| Evolvable Architecture | 不应将系统永久绑定到单模型或双模型实现 |
最后一项尤其重要。
我们设计的是一种交互和执行协议,而不是把当前某两个模型的接口直接拼接起来。
理想情况下,未来模型能力变化时,应用级任务、行动和状态语义仍然可以保留。
3. 理想实时交互系统的总体架构
Section titled “3. 理想实时交互系统的总体架构”从逻辑上看,我建议将系统划分为五个部分:
- 实时输入输出层(Real-Time I/O)。
- 统一交互模型(Unified Interactive Model)。
- 交互运行时(Interactive Runtime)。
- 状态与事件存储(State & Event Store)。
- 外部执行环境(Execution Environment)。
需要强调:这是逻辑职责划分,并不代表必须部署五个独立进程或服务。
3.1 总体架构
Section titled “3.1 总体架构”这是结构示意图。实际数据流并非只有一条自上而下的路径:输入和输出是并行的,Runtime 可以持续向模型发送执行观察,状态存储也与模型及执行器进行不同形式的读写。
3.2 各层职责
Section titled “3.2 各层职责”| 层次 | 核心职责 | 不应该承担什么 |
|---|---|---|
| Real-Time I/O | 音视频传输、时间对齐、播放和连接 | 复杂任务决策 |
| Interactive Model | 感知、理解、推理、交互与行动选择 | 以自身判断替代实际执行确认 |
| Interactive Runtime | 调度、行动执行、任务控制、权限 | 重复实现模型的语义推理 |
| State & Event Store | 保存可验证状态和历史 | 独立决定用户意图 |
| Execution Environment | 真正执行工具和产生外部副作用 | 保证上层模型理解正确 |
这里存在一个重要边界:
模型可以决定应该做什么,但不应仅凭自己的输出就认定事情已经完成。
例如,模型发出取消任务请求,不意味着任务已经取消。
执行器必须返回真实状态,模型才能据此向用户说明。
4. Interactive Loop:系统的核心运行方式
Section titled “4. Interactive Loop:系统的核心运行方式”4.1 Interactive Loop 不等于传统 Agent Turn
Section titled “4.1 Interactive Loop 不等于传统 Agent Turn”传统 Agent Turn 往往有明确的起点和终点。
User Request ↓Agent Turn ↓Final Result而 Interactive Loop 是一个更长期的系统概念。
它在会话存续期间持续处理事件、更新状态,并决定下一步行为。
External Events ↓Update State ↓Decide ↓Dispatch Actions ↓Observe Outcomes └────────→ Update State其中,Action 不一定要立即完成。
系统可以在等待某个工具结果的同时,继续处理新的用户输入。
4.2 一个完整事件驱动循环的概念模型
Section titled “4.2 一个完整事件驱动循环的概念模型”async def interactive_loop(): while session.active: events = await receive_events()
state = update_state(state, events)
decisions = model.decide(state)
for decision in decisions: await dispatch_without_waiting_for_completion( decision )这只是抽象伪代码,不是推荐的最终实现。
真实系统还需要处理事件顺序、操作确认、任务版本、取消、背压和异常恢复。
另一个需要注意的问题是:不应该把所有行动简单地无限制并发提交。 Runtime 需要根据资源、权限、依赖和一致性要求决定哪些行动可以并发,哪些必须等待。
4.3 两个重要的逻辑循环
Section titled “4.3 两个重要的逻辑循环”我认为理想系统至少存在两种持续活动。
Interaction Loop
负责持续感知用户、维持对话和实时反馈。
Agency Loop
负责长期目标、规划、工具行动及环境观察。
它们可以共享一个统一模型,但逻辑上的时间尺度不同。
| Interaction Loop | Agency Loop | |
|---|---|---|
| 主要输入 | 语音、视觉、用户动作 | 目标、工具结果、环境事件 |
| 主要输出 | 语音、文本、交互控制 | 工具操作、计划调整、任务控制 |
| 时间要求 | 低延迟 | 依任务而定 |
| 工作范围 | 持续交互会话 | 跨越较长时间的任务 |
| 终止条件 | 会话关闭或交互结束 | 任务完成、取消、失败等 |
统一模型不意味着两个循环必须串行执行。
同一个模型可以支持多个逻辑推理上下文,实际执行由推理 Runtime 组织。这仍然属于未来架构的可能形式,而不是所有现有模型已经实现的能力。两个循环之间的资源争用,在本文第 11.3 节和 2-3 第 10.3 节讨论;1-3 第 3 节假设两者的计算资源分开分配,不讨论这个问题。
这组前后台拆分在本系列里有三个名字:模型层叫 Interaction Stream 与 Reasoning Stream(2-1 双流、3-0 三种架构),系统层叫 Interaction Loop 与 Agency Loop,双脑实现里叫 Foreground 与 Background Intelligence(3-1 GPT-Live + Codex:双脑过渡架构)。它们是同一条边界在不同层的投影。
5. 从 Turn-Centric Protocol 到 Event-Centric Protocol
Section titled “5. 从 Turn-Centric Protocol 到 Event-Centric Protocol”这可能是整篇文档最重要的协议设计问题。
5.1 传统协议为什么以 Turn 为中心?
Section titled “5.1 传统协议为什么以 Turn 为中心?”经典 Chat API 通常将消息组织为:
{ "messages": [ {"role": "user", "content": "调研上海租房,公司在陆家嘴"}, {"role": "assistant", "content": "开始调研"} ]}模型基于当前消息历史产生响应。
这种设计简单、清晰,适合离散交互。
但是对于实时系统,我们还需要表达:
- 用户和 AI 同时讲话。
- 工具在后台执行。
- 新输入中途到达。
- 用户取消部分行动。
- 任务结果在对话期间返回。
- 某些事件不应该立即转换成语音。
将这些内容全部压缩成一个线性消息数组,容易丢失实际的时间关系和操作语义。
5.2 Event 应该成为一等对象
Section titled “5.2 Event 应该成为一等对象”我建议将 Event 作为系统内部最基础的交换单元之一。
Event 表示某件事情发生了,或者某项执行产生了新的观察。
例如:
{ "event_id": "evt_1042", "session_id": "session_01", "type": "input.speech.final", "source": "user", "timestamp_ms": 18420, "payload": { "text": "刚才说错了,公司在张江" }}这是本文提出的示例协议,不属于当前某个现有 API 的正式 Schema。
对于实时多模态系统,事件需要能够表达:
- 事件身份。
- 所属会话。
- 事件类型。
- 发生时间。
- 事件来源。
- 数据内容。
- 与其他事件的关联。
在需要可靠控制的场景中,还应包含因果关系、序列号和状态版本等信息。
5.3 Event 不应该取代所有其他协议对象
Section titled “5.3 Event 不应该取代所有其他协议对象”需要区分 Event、Command 和 Action。
Event(事件) 表示已经发生的事实。
例如:工具执行完成、用户完成一次输入、任务状态发生变化。
Command(控制请求) 表示系统要求某个执行实体采取操作。
例如:取消任务、暂停执行、修改约束。
Action(模型行动) 表示模型选择执行的行为。
例如:生成语音、调用工具、请求用户确认。
这三者不能完全混淆。
例如:
User requests cancellation ↓Model proposes Cancel Action ↓Runtime validates Command ↓Executor accepts cancellation ↓Task stops ↓TaskCancelled Event其中任何一步都不应该被自动等同于最后一步。
6. 协议的核心对象模型
Section titled “6. 协议的核心对象模型”我建议以五类对象作为理想协议的基础:
Session、Event、Action、Task、State。
它们分别描述持续交互、事件输入、行动输出、长期目标以及系统当前事实。
6.1 Session:持续交互的边界
Section titled “6.1 Session:持续交互的边界”Session 代表一个持续存在的交互上下文。
它可以包含:
- 当前用户和设备连接。
- 音频、视频和文本流。
- 模型交互状态。
- 当前关注的任务。
- 会话内的事件与消息。
但 Session 不应天然等同于 Task。
用户可能在一个语音 Session 中创建多个任务;一个后台 Task 也可能在用户关闭语音会话后继续执行。
因此:
Session Lifecycle 与 Task Lifecycle 应当相互独立。
这对长期运行的智能体非常重要。
6.2 Event:发生了什么?
Section titled “6.2 Event:发生了什么?”Event 是已经发生的输入、状态变化或执行结果。
例如:
input.audio.chunkinput.speech.finaluser.interruption.detectedtool.execution.completedtask.status.changedpermission.requested这些事件可以由用户、模型、Runtime 或外部工具产生。
对于持续输入,事件可以是增量性的;对于执行结果,则可能包含最终状态。
系统不应要求所有事件都形成完整的自然语言 Turn。
6.3 Action:模型决定做什么?
Section titled “6.3 Action:模型决定做什么?”Action 表示模型提出的一项行为。
例如:
speech.generatetool.executetask.createtask.updatetask.canceluser.confirmation.request与传统 Function Calling 相比,这里最重要的变化不是工具名称,而是:
Action 应当拥有自己的身份、生命周期和执行结果。
例如:
{ "action_id": "act_501", "session_id": "session_01", "type": "task.cancel", "target": { "task_id": "task_42" }, "expected_revision": 7}Runtime 接收到行动请求后,需要验证目标是否存在、操作是否允许,以及当前版本是否满足条件。
6.4 Task:持续存在的目标
Section titled “6.4 Task:持续存在的目标”Task 与 Action 的区别尤其重要。
例如,用户说:
“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”
这可以创建一个 Task。
在完成该任务的过程中,模型可能产生很多 Action:
- 查询各区的租金。
- 查询地铁线。
- 计算各区到公司的通勤时间。
- 预约看房。
- 请求用户确认。
所以:
Task 表示长期工作目标,Action 表示某一次具体行动。
一个 Task 可以跨越多个 Action、模型推理过程和用户对话轮次。
同时,一个 Task 也可以包含子任务。
但这种逻辑任务结构不应直接等同于某个 Agent Runtime 内部的 Thread 或 Subagent。
6.5 State:系统当前处于什么状态?
Section titled “6.5 State:系统当前处于什么状态?”State 是系统对当前情况的明确表示。
我建议至少区分三类:
| 状态类别 | 主要内容 | 权威来源 |
|---|---|---|
| Interaction State | 当前对话焦点、输入输出状态、用户意图假设 | 模型与交互层 |
| Task State | 任务目标、约束、进度、生命周期 | Task Runtime |
| Execution State | 实际工具执行、文件操作、授权与执行结果 | 执行环境与可靠记录 |
这种区分能防止一个常见错误:
模型认为某件事情已经完成,于是系统将其当成真实事实。
例如,模型可能判断用户希望取消当前任务,但最终是否成功取消,仍然需要执行系统确认。
6.6 五类对象之间的关系
Section titled “6.6 五类对象之间的关系”这也是为什么我不建议简单用一个 conversation_id 或 turn_id 表示系统里的全部工作。
不同对象具有不同的身份、状态和生命周期,应该能够独立寻址。
7. 时间、顺序与因果关系
Section titled “7. 时间、顺序与因果关系”对于实时交互系统,时间是协议中的核心语义,而不只是日志里的一个字段。
7.1 需要区分不同的时间
Section titled “7.1 需要区分不同的时间”假设用户在 AI 讲话期间说:
“等一下。”
这里至少存在三个时间:
- 用户实际开始说话的时间。
- 系统收到对应音频的时间。
- 模型或 Runtime 开始处理打断的时间。
如果只记录最后一个时间,就无法准确评估感知延迟与实际交互响应。
因此,建议区分:
| 时间信息 | 含义 |
|---|---|
| Event Time | 事件在源端实际发生的时间 |
| Receive Time | Runtime 接收到事件的时间 |
| Process Time | 系统处理事件的时间 |
| Effective Time | 某项控制操作实际生效的时间 |
此外,多设备或跨网络部署时,不同机器的时钟可能存在偏差。
因此,时间戳应该带有明确的时间基准;需要精确顺序时,还应使用序列号或因果关系,而不是只比较墙上时钟。
7.2 到达顺序不等于发生顺序
Section titled “7.2 到达顺序不等于发生顺序”假设:
T1 用户:“公司在张江,不是陆家嘴”T2 Codex 完成一次按陆家嘴附近的看房预约T3 Runtime 收到看房预约完成事件T4 Runtime 收到用户指令的最终转录这里用户的语音可能先发生,却因为转录处理延迟而晚于执行事件进入系统。
因此:
仅按照事件到达顺序处理,未必能够正确表达事件之间的实际关系。
但系统也不能仅凭音频时间戳就自动推断控制已经生效。
它需要明确哪一项命令已经被接受,以及从哪个执行边界开始生效。
7.3 需要表达因果关系
Section titled “7.3 需要表达因果关系”我建议协议支持类似以下字段:
{ "event_id": "evt_204", "type": "action.completed", "action_id": "act_501", "caused_by": "evt_198", "task_id": "task_42", "revision": 8}其中:
action_id将执行结果与具体行动关联。caused_by表达因果来源。task_id表达所属任务。revision表达状态版本。
这样可以回答:
“这个执行结果到底对应用户的哪一次要求?”
对于长期交互系统,这比简单维护按时间排列的聊天记录更加可靠。
第 7.2 节和本节的问题,是 1-2 第 1 节“计算期间状态在变”和 3-0 第 4 节“旧结果晚到”在系统层的形式。revision 只能查出机械上过期的结果,即计算所依据的版本已不是当前版本;旧结论在语义上是否仍然成立,由模型判断(1-2 第 1.3 节、2-3 第 11.1 节)。
8. 异步行动与运行中控制协议
Section titled “8. 异步行动与运行中控制协议”即使未来只有一个统一全双工模型,外部执行也仍然具有异步性。
一个工具调用可能需要数秒或数分钟。
因此,系统需要允许 Action 在提交后独立推进,并通过后续事件返回状态。
8.1 异步行动的基本生命周期
Section titled “8.1 异步行动的基本生命周期”Action Proposed ↓Validated ↓Accepted ↓Running ↓Completed / Failed / Cancelled这是一种逻辑状态模型,真实系统可以针对不同类型的 Action 使用不同状态机。
重要的是:
模型发出 Action 不代表 Action 已经执行。
例如:
{ "type": "action.status", "action_id": "act_501", "status": "accepted"}这里只表示请求被接受。
随后执行器可能返回:
{ "type": "action.status", "action_id": "act_501", "status": "completed", "result": { "files_modified": 3 }}此时才能将执行完成作为事实记录。
8.2 Cancel 不是单一语义
Section titled “8.2 Cancel 不是单一语义”实时交互系统中,用户说“停止”可能对应多种操作。
| 控制范围 | 实际含义 |
|---|---|
| Speech Output | 停止正在播放的语音 |
| Model Generation | 中断当前输出生成 |
| Reasoning Work | 暂停或取消某项推理工作 |
| Action | 取消某个工具操作 |
| Task | 停止整个长期任务 |
| Session | 结束实时交互会话 |
这些操作不应该共用一个含义模糊的 interrupt。
例如,用户打断 AI 的讲话,不代表希望取消后台研究任务。
同理,用户希望取消某个 Task,也不意味着必须关闭整个语音 Session。
因此,我建议将 Cancellation Scope(取消范围) 作为协议中的明确概念。
8.3 Steering 应该如何表达?
Section titled “8.3 Steering 应该如何表达?”Steering 比取消更复杂。
它不是让任务结束,而是让新约束影响后续执行。
例如:
公司在张江,不是陆家嘴,按张江继续调研。
对应的控制请求可以表示为:
{ "command_id": "cmd_88", "type": "task.update", "task_id": "task_42", "expected_revision": 7, "update": { "office": "Zhangjiang" }}Runtime 接收后,需要检查当前任务是否仍在运行、版本是否匹配,以及执行器是否能够安全接受修改。
随后可能返回:
{ "type": "task.update.accepted", "command_id": "cmd_88", "task_id": "task_42"}但这不代表旧计划中所有受影响的行动已经完成修正。
更准确的控制语义应该区分:
- Requested:修改请求已发起。
- Accepted:执行器已接受修改请求。
- Applied:新约束已应用于明确的执行边界。
- Reconciled:既有执行结果中需要修正的部分已处理。
不是所有 Steering 都需要完整的 Reconciliation,但对于可能产生外部副作用的任务,这种区分很有价值。
这里的 Applied 和 2-1 第 4.1 节推理流上报的 applied 确认是同一个想法,只是在两层:这里由执行器确认,那里由推理流确认。正在运行的工具调用也是推理状态的一部分:它按旧前提发起,前提一变,可能需要取消后重新发起。
8.4 模型意图与实际执行的分离
Section titled “8.4 模型意图与实际执行的分离”这条原则应该贯穿整个协议设计:
模型提出 Action,Runtime 执行并返回可验证的 Observation。
例如:
如果执行失败,模型应该收到失败事件,而不是继续假设任务已经停止。
9. 多流通信:全双工协议应该如何组织?
Section titled “9. 多流通信:全双工协议应该如何组织?”前面主要讨论了事件与任务语义。
但真正的 Full-Duplex Interactive Agent 还需要支持多条时间上重叠的数据流。
9.1 不能只使用一条线性的消息队列
Section titled “9.1 不能只使用一条线性的消息队列”假设用户正在讲话,模型同时产生语音,并且某个工具返回了结果。
多流交互时间线
这里至少存在四条逻辑流:
- 用户输入流。
- 模型输出流。
- 后台行动流。
- 工具事件流。
如果强制要求它们按照一条队列串行完成,整个系统就会重新退化成一种受执行边界限制的交互方式。
因此,协议应该支持独立的数据流和跨流事件关联。
9.2 数据流与控制流需要区分
Section titled “9.2 数据流与控制流需要区分”音频和视频通常包含高频、大量的数据。
而取消、授权、任务更新等控制消息通常体积很小,却可能具有更高的优先级。
两者不应该采用完全相同的处理策略。
| 流类型 | 主要内容 | 关键要求 |
|---|---|---|
| Media Stream | 音频、视频 | 低延迟、连续性、时间对齐 |
| Interaction Events | 转录、打断、交互状态 | 及时处理 |
| Control Stream | Cancel、Steer、Permission | 可靠性、优先级、执行确认 |
| Execution Events | 工具结果、状态更新 | 身份关联、顺序、去重 |
| State Synchronization | 当前状态与版本 | 可恢复、一致性 |
例如,积压的音频数据可能需要丢弃过期帧,以保证实时播放。
但任务取消命令不能因为网络拥塞而被简单丢弃。
因此,实时媒体传输与可靠控制消息可能需要不同的传输和队列策略。
9.3 全双工不是“两个独立流”那么简单
Section titled “9.3 全双工不是“两个独立流”那么简单”即使输入与输出流能够同时传输,也不能保证模型具有自然的交互行为。
例如:
- 用户开始插话时,模型是否应该停止讲话?
- 用户只是发出简短附和时,模型是否应该继续?
- 工具结果到达时,是否适合立即口头反馈?
- 用户正在输入新要求时,是否应该暂停某项行动?
这些是模型策略和运行时协调问题,而不是通信传输层本身能够解决的问题。
所以:
Full-Duplex Transport 是必要基础,但不是 Full-Duplex Intelligence 的充分条件。
10. State & Event History:持续状态与恢复
Section titled “10. State & Event History:持续状态与恢复”如果系统可以持续运行,而且后台任务不依赖单次交互会话,那么状态持久化就变得十分重要。
10.1 为什么不能只依赖模型上下文?
Section titled “10.1 为什么不能只依赖模型上下文?”模型上下文可以帮助理解当前对话和任务。
但它不应该成为所有执行事实的唯一保存位置。
例如:
- 某个工具是否真正执行成功?
- 用户是否授权了一次有风险的操作?
- 文件修改进行了哪些步骤?
- 后台任务是否仍在运行?
- 一项 Cancel 是否已经生效?
这些需要可靠记录。
如果只保存模型生成的自然语言总结,很难满足恢复、审计和错误处理的需求。
10.2 Event History 的作用
Section titled “10.2 Event History 的作用”Event History 可以记录任务和行动的状态变化。
例如:
TaskCreatedActionRequestedActionAcceptedActionStartedToolResultReceivedTaskUpdateRequestedTaskUpdateAppliedActionCompletedTaskCompleted这样的事件历史可以支持:
- 查看执行过程。
- 重建任务状态。
- 分析错误。
- 关联用户控制请求。
- 防止重复执行已经完成的操作。
但拥有 Event Log 不等于自动拥有可靠重放能力。
如果希望通过事件历史恢复执行,系统还需要规定事件的顺序、持久化保证、状态转换,以及外部副作用的幂等或补偿策略。
10.3 Snapshot 与 Event Log
Section titled “10.3 Snapshot 与 Event Log”长期运行的系统可能产生大量事件。
如果每次恢复都从第一条事件开始重放,成本会不断增加。
因此,可以结合:
Snapshot
保存某个时间点的完整任务状态。
Event Log
保存 Snapshot 之后发生的状态变化。
概念上:
Snapshot at Revision 100 ↓Event 101 ↓Event 102 ↓Event 103 ↓Current State这种方式能够减少恢复时需要处理的历史范围。
但需要保证 Snapshot 与事件序列之间存在明确的版本关系。
10.4 Session 恢复与 Task 恢复应分离
Section titled “10.4 Session 恢复与 Task 恢复应分离”假设用户关闭语音会话,但后台工具仍在执行。
理想系统应允许:
因此,Session 终止不应自动决定所有 Task 的终止。
任务是否继续,需要由产品策略、用户授权、资源预算和具体操作类型决定。
11. Interactive Runtime 需要承担哪些职责?
Section titled “11. Interactive Runtime 需要承担哪些职责?”前面已经定义模型与 Runtime 的边界。
这里进一步讨论 Runtime 应当具有哪些能力。
我建议将其分成五个逻辑子系统。
| 子系统 | 主要职责 |
|---|---|
| Event Router | 接收、分发和关联事件 |
| Task Manager | 维护 Task 身份与生命周期 |
| Scheduler | 决定任务、控制事件和资源的执行安排 |
| Action Executor | 执行工具和任务控制操作 |
| State Manager | 维护可靠状态、版本和历史 |
这些只是逻辑职责,不要求全部实现为独立服务。
11.1 Event Router
Section titled “11.1 Event Router”负责把事件送到正确的处理对象。
例如:
- 音频输入进入交互模型。
- 工具完成事件关联到对应 Action。
- 任务状态变化进入 State Manager。
- 用户控制请求关联到目标 Task。
它需要支持事件关联和去重,而不是仅根据消息文本进行路由。
11.2 Task Manager
Section titled “11.2 Task Manager”维护长期任务的身份、状态和生命周期。
需要支持:
- 创建任务。
- 查询任务。
- 关联行动。
- 修改任务。
- 取消任务。
- 保存结果。
- 任务恢复。
这里的 Task 是应用级语义,不一定等同于一个模型推理请求或一个工具进程。
11.3 Scheduler
Section titled “11.3 Scheduler”决定哪些操作需要执行、何时执行,以及如何分配资源。
例如:
- 高优先级用户打断应及时处理。
- 后台计算不能持续占用实时交互资源(这个问题在本文和 2-3 第 10.3 节讨论;1-3 假设两者资源分开分配)。
- 相互依赖的 Action 需要满足执行顺序。
- 过期任务结果需要检查版本。版本只查出机械上的过期,结论是否仍然成立由模型判断(见第 7.3 节)。
- 控制请求可能需要优先于普通后台事件。
不过,Scheduler 不负责理解用户自然语言的全部语义。
用户这句话是要取消、追问还是开新任务,由模型理解,并以显式输出的形式交给 Runtime(例如一个取消调用),而不是由单独的意图分类器来判断(见 1-3 第 1.3 节)。
Scheduler 在明确的状态与控制约束下作出执行安排。
11.4 Action Executor
Section titled “11.4 Action Executor”执行模型提出的外部行为。
例如:
- 调用 API。
- 修改文件。
- 启动进程。
- 查询数据库。
- 发送外部请求。
Executor 应该能够提供执行状态和错误信息。
对于具有副作用的操作,需要考虑权限、幂等、事务和补偿。
11.5 State Manager
Section titled “11.5 State Manager”负责维护可靠的系统状态。
它需要区分模型的推断与执行环境的实际事实。
例如:
模型判断某项任务已经结束,可以触发状态查询;但不能仅凭该判断直接写入 Completed。
只有当执行结果满足定义好的完成条件时,任务才应转入终止状态。
12. 与现有实时模型协议的关系
Section titled “12. 与现有实时模型协议的关系”前面提出的是一个理想协议模型。
它不意味着当前所有实时 API 都已经具备这些能力。
GPT-Live 的公开协议,以及它和这里的理想协议之间的差距,放在 3-1 GPT-Live + Codex:双脑过渡架构 里和 Codex 的能力一起分析。
12.1 为什么不直接使用传统 Agent Protocol?
Section titled “12.1 为什么不直接使用传统 Agent Protocol?”传统 Agent Protocol 通常围绕消息、工具调用和执行轮次组织。
这对于复杂任务非常有效。
但实时交互还需要支持:
- 持续媒体输入。
- 输入输出重叠。
- 亚秒级交互事件。
- 独立于任务生命周期的 Session。
- 运行中控制。
- 多个未完成行动。
- 任务结果与用户实际接收结果的区分。
因此,未来协议可以复用传统 Agent 的工具调用语义,但需要更完整的时间与交互表示。
13. 如何评估系统架构与协议?
Section titled “13. 如何评估系统架构与协议?”协议是否优秀,不能只通过 Schema 是否完整来判断。
还需要研究它是否真正支持持续交互,以及在异常情况下能否可靠运行。
我建议从四个方面评估。
13.1 实时性
Section titled “13.1 实时性”关注:
- 输入感知延迟。
- 语音打断生效延迟。
- 首次有意义回应的延迟。
- 高优先级控制事件处理延迟。
尤其要区分用户听到“已经停止”和实际任务停止的时间。
13.2 任务控制正确性
Section titled “13.2 任务控制正确性”关注:
- Cancel 是否作用于正确任务。
- Steering 是否在正确版本上生效。
- 用户控制指令是否被重复执行。
- 运行中修改是否破坏已有执行状态。
- 迟到事件是否覆盖更新后的状态(即 3-0 第 4 节的“旧结果晚到”,见第 7.3 节)。
13.3 状态一致性与可靠性
Section titled “13.3 状态一致性与可靠性”关注:
- 连接中断后能否恢复。
- 任务是否会丢失。
- 事件是否能够正确关联。
- 系统能否识别已完成但尚未反馈的任务。
- 外部操作是否具有明确的副作用管理策略。
13.4 资源与执行效率
Section titled “13.4 资源与执行效率”关注:
- 实时交互与后台推理的资源竞争(1-3 第 3 节假设两者分开分配,这一项只在本文和 2-3 评估)。
- 事件积压与背压。
- 大量工具事件对模型上下文的影响。
- 状态同步和日志的存储成本。
- 多个长期任务并存时的调度开销。
一个理想系统不仅要能够同时处理多个活动,还需要避免无控制的并发造成系统不稳定。
14. 尚未解决的关键问题
Section titled “14. 尚未解决的关键问题”14.1 Turn 是否仍然需要存在?
Section titled “14.1 Turn 是否仍然需要存在?”我认为需要。
Turn 仍可以描述一次用户发言、模型生成或执行片段。
但它不应成为整个交互系统的唯一生命周期边界。
未来协议可能同时拥有:
- 长期 Session。
- 持续 Task。
- 独立 Action。
- 局部 Turn。
- 增量 Event。
这些对象彼此关联,但不应强制共享同一个开始和结束时刻。
14.2 Event-Driven 是否意味着所有决策都由事件触发?
Section titled “14.2 Event-Driven 是否意味着所有决策都由事件触发?”不一定。
即使没有新的外部事件,系统也可能基于已有目标继续推理或行动。
例如,模型正在准备一份研究报告,当前并没有用户新输入,但仍需要继续处理下一步工作。
因此,严格来说,理想 Interactive Loop 可以由外部事件、内部状态和持续目标共同驱动。
Event-Driven 是重要特征,但不是唯一驱动力。
14.3 模型内部状态与系统状态如何同步?
Section titled “14.3 模型内部状态与系统状态如何同步?”未来统一模型可能维护复杂的认知状态。
Runtime 又需要维护任务事实和执行历史。
两者之间如何共享信息、压缩上下文和识别版本变化,是一个关键研究问题。
这可能比单纯增加模型上下文窗口更加重要。
14.4 模型推理能否真正被抢占?
Section titled “14.4 模型推理能否真正被抢占?”如果模型正在执行长时间推理,新输入如何及时进入当前认知过程?
对自回归模型,新输入可以在下一个 Token 边界插入,模型接着写,不必重新生成(见 1-2 第 1.3 节)。单一序列、共享权重的双序列、帧间隐向量推理三种架构,3-0 三种架构 已经比较。协议层留下的问题是:模型协议与推理引擎的边界划在哪里。
14.5 哪些决策应属于模型,哪些属于 Runtime?
Section titled “14.5 哪些决策应属于模型,哪些属于 Runtime?”例如:
- 是否应该在当前时刻打断用户?
- 是否应该取消某个正在执行的操作?
- 是否允许并发修改文件?
- 某项外部行动是否需要授权?
- 任务是否已经真正完成?
其中一些适合模型进行语义判断,另一些必须由可靠的系统机制执行和确认。
未来需要为这种职责边界建立更明确的设计原则。
15. 总结
Section titled “15. 总结”本文从理想的 Full-Duplex Interactive Agent 出发,讨论了实时交互系统所需要的架构与协议。
核心观点可以归纳为五点。
第一,实时交互系统应当从 Turn-Centric 向 Event-Centric 演进。
Turn 仍然有价值,但不应该成为持续输入、长期任务和行动控制的唯一边界。
第二,Interactive Loop 是系统的核心运行范式。
系统持续接收事件、更新状态、作出决策,并让行动结果进入下一轮观察。
这个循环不能被一次耗时的工具操作或推理过程完全阻塞。
第三,Session、Event、Action、Task 和 State 应成为明确的系统对象。
它们具有不同的身份、生命周期和一致性要求,不能简单混合在一份聊天历史中。
第四,模型智能与可靠执行应该分离。
模型负责感知、推理、规划和行动决策;Runtime 负责工具执行、权限、任务状态和执行结果确认。
第五,未来统一模型不意味着所有工作都必须串行执行。
实时交互、深度推理和外部行动具有不同的时间尺度。
即使它们由一个统一模型承担,系统仍然需要异步执行、事件协调和计算资源管理。实时交互和后台推理怎样分配计算资源,是本文和 2-3 的问题;1-3 假设两者分开分配。
因此,我认为理想实时交互系统最准确的抽象是:
一个以 Full-Duplex Interactive Model 为智能核心,以 Event-Driven Interactive Runtime 为执行基础,通过持续状态与双向事件流连接用户和外部环境的智能系统。
它的演进目标不是简单将传统 Agent 接上语音接口,而是重新组织人、模型与环境之间的关系。
从:
Request → Reason → Act → Response
走向:
Perceive → Maintain State → Decide → Act → Observe
并允许多个尚未完成的行动和持续输入在时间上重叠。
这将为未来真正的 Continuous Interactive Agent 提供系统基础。
延伸阅读:Thinking Machines Lab 的 Interaction Models。22 Thinking Machines Lab. Interaction Models. 持续交互、多流与时间感知模型。
-
Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。 ↩
-
Thinking Machines Lab. Interaction Models. 持续交互、多流与时间感知模型。 ↩