Interactive Agent3-1 · 架构方案
GPT-Live + Codex:面向实时交互智能体的双脑过渡架构
利用 GPT-Live 与 Codex 构建实时交互智能体,设计任务关联、运行中控制、事件反馈与演进路径。
前面几篇从理想的 Continuous Interactive Agent 出发,讨论了推理范式、全双工模型、实时交互范式、事件驱动架构,以及异步执行、调度与任务控制机制。
我们希望构建的系统能够持续感知用户、实时回应、执行复杂任务,并允许用户在任务运行过程中随时交流、观察和干预。
理想情况下,这些能力可以由一个足够强大的 Unified Full-Duplex Interactive Model 统一承担。
但即使统一,交互和深度推理仍要分成两条流:深度推理的耗时远超交互节奏,这来自任务难度的不同,与模型快慢无关(见 1-2 第 2 节、3-0 第 4 节)。过渡的只是”用两个独立模型来实现这两条流”这种形态。因此,将两者拆分为前台交互模型与后台执行 Agent,是一种值得探索的过渡方案。
本文选择 GPT-Live 与 Codex 作为具体研究对象:
- GPT-Live:负责实时语音交互、持续感知、自然回应及后台委派。
- Codex:负责复杂推理、规划、工具调用和长期任务执行。
- Interactive Coordination Layer:负责连接两者的任务状态、交互意图、控制指令和执行事件。
这里最重要的问题并不是如何把 GPT-Live 的语音转录发送给 Codex,而是:
如何让用户在 Codex 持续工作时,仍然可以通过 GPT-Live 自然地了解、修改、暂停或取消后台任务,而不必理解 Thread、Turn、Subagent 等底层概念?
本文首先分析 GPT-Live 和 Codex 已有的公开能力,再从理想实时交互系统的要求出发,设计一种尽量复用原生机制的过渡架构。
本文属于候选系统设计,并不表示所有提出的交互控制能力已经由 GPT-Live 或 Codex 原生实现。
1. 为什么当前选择双脑架构?
Section titled “1. 为什么当前选择双脑架构?”1.1 从理想系统倒推
Section titled “1.1 从理想系统倒推”前面已经提出,理想实时交互智能体应该具备以下能力:
- 持续接收多模态输入。
- 同时处理输入与输出。
- 及时响应用户打断。
- 长时间维持任务目标和工作状态。
- 在复杂推理期间继续处理即时交互。
- 接收运行中的任务修改。
- 根据工具结果和新用户输入持续调整行动。
这些能力不一定必须由两个模型实现。
但实际系统还面临推理延迟、计算预算、模型专长和执行环境等限制。
特别是实时语音交互与复杂 Coding Agent 工作具有不同特点。
| 特征 | 实时交互 | 复杂 Coding Agent |
|---|---|---|
| 时间要求 | 低延迟、持续响应 | 允许较长推理和执行时间 |
| 输入 | 连续音频、用户插话 | 任务目标、上下文、工具结果 |
| 输出 | 流式语音、即时反馈 | 代码、工具调用、文件和测试结果 |
| 主要优化目标 | 自然性、响应性 | 正确性、任务完成质量 |
| 工作状态 | 持续对话上下文 | Thread、Turn、工具执行历史 |
如果把两种工作放进一条推理流,长时间推理就会推迟语音(见 3-0 第 3 节)。要分开,是因为两类任务的耗时差别太大,而不是算力不够。
因此,当前可以将能力拆分:
GPT-Live 负责 Interaction,Codex 负责 Agency。
1.2 双脑不是两个对等的 Agent
Section titled “1.2 双脑不是两个对等的 Agent”这里需要明确一个概念边界。
我们的双脑系统并不是让两个完全对等的 Agent 相互讨论、共同决定所有事情。
它更接近两种不同时间尺度的智能活动:
Foreground Intelligence
负责持续交互,对用户的新输入保持敏感。
Background Intelligence
负责长期目标驱动的推理和行动。
二者共享用户目标和相关任务状态,但不必共享完整的模型上下文或完全一致的执行循环。
这对拆分就是 2-2 实时交互系统架构与协议 里的 Interaction Loop 与 Agency Loop,也对应 1-3 全双工模型的联合建模 里的 Interaction Stream 与 Reasoning Stream。
1.3 双脑架构的目标
Section titled “1.3 双脑架构的目标”双脑的目的不是永久保留两个模型,而是在当前技术条件下逼近理想体验。
我们希望用户感受到的是一个持续工作的智能体,而不是:
先对语音模型说话,再等待它把任务转交给另一个 Agent,最后由语音模型复述结果。
因此,设计重点不是模型数量,而是交互与行动的连续性。
2. GPT-Live 已经提供哪些能力?
Section titled “2. GPT-Live 已经提供哪些能力?”GPT-Live 是双脑系统中的实时交互部分。
根据 OpenAI 公开文档,它支持实时语音输入输出、全双工交互,以及将复杂工作委派到后台。11 OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 22 OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。
2.1 实时交互能力
Section titled “2.1 实时交互能力”GPT-Live 提供:
- 持续语音输入。
- 流式语音输出。
- 输入输出时间上的重叠。
- 用户插话和语音交互控制。
- 增量转录事件。
- 会话内持续的交互上下文。
这些能力让我们不必从头搭建传统的 ASR → LLM → TTS 语音流水线。
但全双工语音交互不等于可靠的后台任务控制。
GPT-Live 可以理解用户表达的意图,却不天然知道外部 Codex 当前运行了哪些 Thread、Turn,以及哪个任务已经真正停止。
2.2 Client Delegation
Section titled “2.2 Client Delegation”GPT-Live 支持将工作委派给应用自己运行的后台服务。
Client Delegation 的一个关键事件是:
{ "type": "session.delegation.created", "event_id": "event_delegation", "offset_ms": 1000, "delegation": { "id": "item_example", "type": "delegation", "target": "client" }}这里的 item_example 只是示例标识。
这个事件告诉应用:GPT-Live 创建了一次后台委派。
但需要特别注意:
Delegation 事件本身不包含完整的任务文本。
应用需要结合转录事件、当前会话上下文和自身状态,构造真正发送给 Codex 的任务请求。2
这意味着 Delegation 解决了任务委派的触发机制,并没有自动解决用户任务语义、后台执行标识和任务控制之间的映射。
2.3 后台信息回传
Section titled “2.3 后台信息回传”GPT-Live 提供不同语义的信息注入方式:
| 事件 | 用途 |
|---|---|
session.thinking.append | 提供模型可使用、但不要求立即播报的后台信息 |
session.commentary.append | 提供适合向用户口头反馈的信息 |
session.instructions.append | 追加会话行为指令 |
例如,Codex 完成部分分析后,应用可以通过 session.thinking.append 更新前台可用的任务上下文。
而当用户需要知道重要结果时,可以使用 session.commentary.append 请求 GPT-Live 自然表达相关内容。
这里还需要区分:
- 信息已发送。
- GPT-Live 已确认上下文注入。
- 模型实际理解或使用了信息。
- 用户已经听到对应反馈。
官方文档说明,Append 确认并不等同于语音播放完成,也不保证模型一定保持沉默或逐字表达。2
2.4 GPT-Live 不能替代 Task Runtime
Section titled “2.4 GPT-Live 不能替代 Task Runtime”对于我们正在研究的系统,GPT-Live 并不原生提供完整的 Codex Task Controller。
尤其不能默认它能够可靠完成:
- 列出全部 Codex 任务。
- 将“刚才那个任务”解析为正确的 Thread。
- 判断某次文件修改是否已经完成。
- 直接停止指定 Codex Turn。
- 保证新的约束已经在 Codex 中生效。
因此,GPT-Live 可以成为持续交互的智能入口,但不能被视为全部执行状态的权威来源。
2.5 公开协议与理想协议的差距
Section titled “2.5 公开协议与理想协议的差距”截至 2026 年 10 月,GPT-Live 提供了专门的实时会话和后台委派机制。
官方文档中可以看到:
- WebRTC 和 WebSocket 连接。
- Sideband 连接。
- 实时输入输出转录事件。
- Client Delegation。
- 后台信息与结果注入。
- Session 配置和状态更新。33 OpenAI. Managing GPT-Live Sessions — 实时会话与上下文管理。 44 OpenAI. Live API Reference — 实时事件与协议对象定义。
但它们仍主要服务于 GPT-Live 的现有交互与委派模型。
不能将这些事件直接视为一个通用、完整的持续智能体任务控制协议。
尤其在 Client Delegation 模式中,应用仍需自行维护长期任务状态、处理授权和控制后台工作。2
对照 2-2 实时交互系统架构与协议 提出的理想协议:
| 能力 | GPT-Live 公开能力 | 理想 Interactive Protocol |
|---|---|---|
| 持续音频输入输出 | 支持 | 必须支持 |
| 实时转录事件 | 支持 | 支持多模态事件 |
| 后台工作委派 | 支持 | 通用 Action / Task 模型 |
| 后台结果回传 | 支持 | 带关联、版本和确认语义的事件 |
| 长期任务状态 | 应用维护 | 明确的 Task State |
| 通用任务控制 | 依赖应用和后台 | 标准化控制对象与执行结果 |
| 跨会话恢复 | 应用维护相关上下文 | 独立的 Session / Task Lifecycle |
| 行动副作用管理 | 应用负责 | Runtime 可靠执行机制 |
这个对比不是评价现有 API 的缺陷,而是说明两者的设计范围不同。
GPT-Live 的主要目标是提供实时语音交互与后台委派能力,而理想协议面向的是更一般的、未来统一智能体的系统。差距里的每一行,就是本文协调层要补的东西。
3. Codex 已经提供哪些能力?
Section titled “3. Codex 已经提供哪些能力?”Codex 是双脑系统中的后台执行部分。
与普通的异步 Worker 不同,Codex 自身就是一个完整的 Agent Runtime。
它不仅能够执行一次工具调用,还能够维护会话、进行多轮推理、管理执行状态,并将工作委派给内部 Subagent。
3.1 Thread、Turn 与 Subagent
Section titled “3.1 Thread、Turn 与 Subagent”Codex 的执行结构中,几个概念非常重要。
Thread
表示一个持续的 Codex 会话上下文。
Turn
表示在 Thread 中启动的一次 Agent 执行过程。
Subagent
表示 Codex 在自身执行过程中委派的子 Agent。
概念关系如下:
Codex Thread A │ ├── Turn 1:分析项目 │ ├── Turn 2:执行优化 │ │ │ ├── Subagent A:分析计算瓶颈 │ └── Subagent B:分析内存问题 │ └── Turn 3:验证测试这个结构说明:
Codex 内部已经具有任务执行和子 Agent 协作机制,我们没有必要重新实现这些能力。
不过,Subagent 的创建与管理属于 Codex 内部 Agent Control。外部 App Server 客户端不应假定自己能够直接控制内部所有子 Agent,也不应假定全部内部执行关系都通过稳定 API 暴露。
3.2 Codex App Server
Section titled “3.2 Codex App Server”Codex 提供 App Server 接口,允许外部客户端管理 Thread、启动 Turn、监听事件,并进行运行中控制。
公开文档中的核心方法包括:
| 方法 | 作用 |
|---|---|
thread/start | 创建新的 Thread |
thread/resume | 恢复已有 Thread |
turn/start | 在 Thread 中启动 Turn |
turn/steer | 向当前运行中的 Turn 追加输入 |
turn/interrupt | 请求中断指定 Turn |
thread/read | 读取 Thread 信息 |
turn/completed | Turn 结束事件 |
Codex App Server 使用请求、响应及通知事件来组织这些交互,客户端能够监听工具进度、模型输出和执行状态变化。55 OpenAI. Codex App Server — Thread、Turn、Steering、Interrupt 与事件协议。
3.3 Codex 原生 Steering
Section titled “3.3 Codex 原生 Steering”例如,Codex 正在运行一个 Turn。
外部客户端可以发送:
{ "method": "turn/steer", "id": 32, "params": { "threadId": "thr_123", "expectedTurnId": "turn_456", "input": [ { "type": "text", "text": "公司在张江,不是陆家嘴" } ] }}这是 Codex App Server 文档所描述的请求结构。5
其中 expectedTurnId 很重要。
它要求 Steering 必须针对预期的活动 Turn。
如果该 Thread 已经没有对应的活动 Turn,请求会失败。
这是一种基本的并发保护,能够避免将新约束误投到错误的执行轮次。
但是:
Steer 请求被接受,不代表 Codex 已经修正所有受影响的文件,也不代表正在运行的外部工具会立即停止。
新约束先排队,到下一个模型调用边界才进入上下文;在此之前,正在运行的长命令和当前这次推理仍按旧前提计算(见 1-2 第 1.3 节)。
3.4 Codex 原生 Interrupt
Section titled “3.4 Codex 原生 Interrupt”同样可以通过:
{ "method": "turn/interrupt", "id": 31, "params": { "threadId": "thr_123", "turnId": "turn_456" }}请求中断当前 Turn。
成功调用后,文档说明该 Turn 会以 interrupted 状态结束。5
不过,需要继续区分:
- Codex Turn 被中断。
- 内部工具进程是否已经停止。
- 文件修改是否已产生副作用。
- 任务是否需要执行补偿或恢复。
这些不应被简单理解为一次 API 调用就能够保证的全部行为。
3.5 Codex 的能力边界
Section titled “3.5 Codex 的能力边界”Codex 擅长执行明确的工作目标,但它本身并不天然维护 GPT-Live 的完整实时交互状态。
例如:
- 用户当前正在谈论哪个任务?
- 用户说的“刚才那个”指哪个 Task?
- 当前是否适合打断用户播报进度?
- 用户的某句话只是闲聊,还是对后台目标的修改?
这些属于交互层与执行层之间的协调问题。
因此,GPT-Live 和 Codex 虽然都有较强能力,但仍然存在需要系统设计连接的边界。
4. 双脑系统真正缺失的是什么?
Section titled “4. 双脑系统真正缺失的是什么?”前面可以看到,GPT-Live 已经提供持续交互能力,Codex 已经提供复杂任务执行和运行中控制能力。
两者之间缺少的并不是另一套完整的 Agent Runtime。
而是:
将持续自然语言交互转化为正确的后台任务操作,并把后台执行状态重新融入实时交互的能力。
我将它称为 Interactive Coordination(交互协调)。
4.1 三个核心能力缺口
Section titled “4.1 三个核心能力缺口”| 能力缺口 | 核心问题 |
|---|---|
| Interaction → Task | 用户现在说的话与哪个任务有关? |
| Interaction → Control | 应该创建、更新、查询还是取消任务? |
| Execution → Interaction | 后台发生的事情应该何时、如何告诉用户? |
以一个场景为例:
用户:“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”
GPT-Live:“好的。”
Codex 开始执行。
用户:“等等,公司在张江,不是陆家嘴。”
这时,“公司在张江,不是陆家嘴”并不是一个需要单独回答的普通问题。
它可能需要修改正在运行的 Codex Turn。
但如果用户接下来又说:
“现在 Python 最新版本是什么?”
系统就不应该把这个问题当成租房调研任务的 Steering。
因此,问题的关键不仅是意图分类,还包括任务关联、上下文理解和执行控制。
4.2 语义判断与可靠控制应当分离
Section titled “4.2 语义判断与可靠控制应当分离”我建议区分两种职责。
Semantic Decision
理解用户想要做什么。
例如,识别一条话语可能表达了取消、补充要求或进度查询。
Runtime Control
确认目标任务、检查状态并执行操作。
例如,将取消请求转换为针对正确 threadId 和 turnId 的 Codex 中断操作。
二者不能完全等同。
因为模型可以理解“停止刚才那个任务”的语言含义,但它不一定知道“刚才那个任务”的真实执行身份。
即使模型推断出一个 Task ID,也需要基于实际 Task Registry 验证。
4.3 不应该把所有新输入都发送给 Codex
Section titled “4.3 不应该把所有新输入都发送给 Codex”一种简单实现是:GPT-Live 收到用户新语音后,将转录全部追加到当前 Codex Thread。
这种方案实现成本低,但有明显问题。
例如:
- 无关闲聊可能干扰 Codex 的工作。
- 用户的即时问题可能被解释为新的 Coding 任务。
- 一句尚未说完的话可能过早修改后台目标。
- 用户取消意图可能被当作普通补充说明。
- 当前存在多个任务时,输入可能被发送给错误的 Thread。
所以,我们需要一个明确的交互到执行的转换边界。
这不代表必须每句话都调用独立的分类模型。
在当前实现中,可以结合 GPT-Live 的语义能力、委派事件、会话转录、应用状态和必要的独立判断机制。
一种做法是“通知走增量,内容按引用取”(见 2-1 第 8.2 节):Coordination 只给 Codex 发简短的增量,并标明它在会话转录中的位置;转录放在 Codex 能读的共享记录里,增量不够时再按引用去读原话。
但是无论采用哪种方式,最终执行的命令都应拥有明确的操作类型和目标身份。
5. Interactive Coordination Layer:候选系统架构
Section titled “5. Interactive Coordination Layer:候选系统架构”基于现有能力,我建议采用一个尽可能轻量的交互协调层。
其职责是管理 GPT-Live 与 Codex 的协作关系,而不是替代任何一方已有的内部机制。
5.1 逻辑架构
Section titled “5.1 逻辑架构”flowchart TB U["User / Environment"]
L["GPT-Live<br/>Full-Duplex Interaction"]
subgraph C["Interactive Coordination Layer"] R["Intent & Task Resolution"] M["Task Registry & State"] K["Control Coordination"] F["Feedback Coordination"] end
A["Codex App Server"]
subgraph E["Codex Execution Runtime"] T["Thread / Turn"] S["Internal Subagents"] X["Tools / Environment"] end
U <--> L L <--> R R <--> M M <--> K K <--> A A <--> T T <--> S T <--> X A --> F F --> L这里的 Coordination Layer 只是一个逻辑层。
在最小实现中,它完全可以是单个应用进程中的若干模块,而不需要单独部署 Scheduler、消息队列或工作流引擎。
5.2 我建议的五种职责
Section titled “5.2 我建议的五种职责”| 职责 | 作用 | 是否需要重新实现 Codex 能力 |
|---|---|---|
| Interaction Context | 维护当前对话关注点 | 不需要 |
| Task Registry | 关联用户任务与 Codex 执行 | 需要少量应用级状态 |
| Intent & Task Resolution | 解析用户控制对象 | 需要设计 |
| Control Coordination | 调用 Codex 现有控制接口 | 复用 Codex |
| Feedback Coordination | 处理进度和结果的反馈时机 | 需要设计 |
其中最有研究价值的是 Intent & Task Resolution,以及运行中控制与反馈的协调。
5.3 Task Registry:是否真的需要自己的 Task ID?
Section titled “5.3 Task Registry:是否真的需要自己的 Task ID?”Codex 已经具有 threadId 和 turnId,因此一个自然的问题是:
能否直接将 Codex Thread ID 作为用户任务 ID?
对于最小原型,如果始终采用“一个用户任务对应一个 Codex Root Thread”的约束,这样做可以简化实现。
但从长期系统设计来看,我更建议区分:
- User Task:用户理解的一项持续工作。
- Codex Thread:Codex 的会话上下文。
- Codex Turn:一次具体执行轮次。
例如:
User Task:上海租房调研 │ └── Codex Thread A ├── Turn 1:查租金 ├── Turn 2:算通勤 └── Turn 3:汇总结论用户认为这是一个任务,而 Codex 可以通过多个 Turn 完成。
反过来,一个 Thread 也可能被复用于多个相关但不同的工作目标。
因此,建议至少保留应用级任务标识与 Codex 身份的映射。
{ "task_id": "task_001", "title": "上海租房调研", "codex_thread_id": "thr_123", "active_turn_id": "turn_456", "status": "running", "revision": 3}这是本文提出的应用数据模型,不是 Codex 官方返回结构。
5.4 Conversation Focus:当前用户在讨论什么?
Section titled “5.4 Conversation Focus:当前用户在讨论什么?”Task Registry 解决任务身份问题,但还需要回答:
“用户现在说的这句话对应哪个任务?”
例如:
Task A:上海租房调研Task B:查搬家公司
用户:“第一个先停一下。”这里的“第一个”需要结合对话历史和展示顺序解析。
如果用户说:
“刚才那个继续。”
则可能需要结合最近讨论的任务、当前活动任务和历史控制操作。
我建议维护一个轻量的 Conversation Focus:
{ "session_id": "live_session_01", "focused_task_id": "task_001", "recent_task_ids": [ "task_001", "task_002" ]}但 Focus 只能提供上下文线索,不能成为所有操作的唯一依据。
当引用存在歧义,特别是涉及终止或破坏性操作时,系统应该主动澄清。
6. 核心流程一:从语音委派到 Codex 执行
Section titled “6. 核心流程一:从语音委派到 Codex 执行”考虑用户说:
帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。
6.1 执行流程
Section titled “6.1 执行流程”sequenceDiagram participant U as User participant L as GPT-Live participant C as Coordination participant A as Codex
U->>L: 上海租房调研,公司在陆家嘴 L-->>C: Delegation Created C->>C: 构造任务意图 C->>C: 创建 User Task C->>A: thread/start A-->>C: threadId C->>A: turn/start A-->>C: turnId C-->>L: 任务已启动 L-->>U: 已开始调研 Note over U,L: 继续实时对话 Note over A: Codex 后台执行 A-->>C: Progress Events C-->>L: 状态摘要6.2 Delegation 不直接等于 Task
Section titled “6.2 Delegation 不直接等于 Task”这里至少存在三个不同标识:
| 标识 | 来源 | 作用 |
|---|---|---|
delegation_id | GPT-Live | 关联一次委派及其回传 |
task_id | 应用 | 表示用户级持续任务 |
thread_id | Codex | 表示实际执行会话 |
delegation_id 不能直接替代 thread_id。
因为 GPT-Live 和 Codex 分别管理不同的生命周期。
例如,一次 Delegation 可以启动一个持续数分钟的 Codex Task;实时会话结束后,Codex Task 仍可能继续执行。
另外,启动成功后应当记录实际返回的 Codex Thread 和 Turn 标识,而不能自行推测。
6.3 任务创建需要什么上下文?
Section titled “6.3 任务创建需要什么上下文?”发送给 Codex 的任务不应该只有一句未经处理的语音转录。
至少可能需要:
- 用户真实目标。
- 当前工作目录或仓库。
- 已明确的约束。
- 必要的历史上下文。
- 当前执行权限。
- 是否允许修改文件。
但也不应该无条件发送整个 GPT-Live 对话历史。
例如,用户与 GPT-Live 的无关闲聊不一定有助于 Codex 完成任务。
因此,任务委派需要一种上下文选择与构造机制。任务运行中的后续输入也一样,不必转发整段转录,可以发增量、按引用取原话(见 4.3 节、2-1 第 8.2 节)。
最小原型可以先使用完整的任务描述和少量相关上下文,后续再研究更复杂的摘要与上下文管理。
7. 核心流程二:执行过程中 Steering
Section titled “7. 核心流程二:执行过程中 Steering”Steering 是这套系统最值得重点研究的能力。
假设 Codex 正在按陆家嘴计算各区的通勤时间,用户突然说:
刚才说错了,公司在张江。
这个场景包含两个并发过程:
- Codex 正在持续执行已有任务。
- 用户通过 GPT-Live 修正任务前提。
7.1 Steering 的基本流程
Section titled “7.1 Steering 的基本流程”sequenceDiagram participant U as User participant L as GPT-Live participant C as Coordination participant A as Codex
Note over A: Turn A 正在执行 U->>L: 刚才说错了,公司在张江 L->>C: 用户新输入 C->>C: 识别 Update Intent C->>C: 解析目标 Task C->>C: 检查 activeTurnId C->>A: turn/steer A-->>C: accepted turnId C->>C: 更新控制请求状态 C-->>L: 修改请求已接受 L-->>U: 好的,张江 Note over L: 生效之前,不转述旧前提下的结论 Note over A: 后续推理处理新约束 A-->>C: 执行进度与结果 C-->>L: 实际状态更新7.2 Steering 的几个重要问题
Section titled “7.2 Steering 的几个重要问题”第一,Steering 应该何时发出?
用户可能一句话还没说完。
例如:
“是张江……不对,我再确认一下地址。”
如果系统在前半句到达时立即发出不可撤销的控制,可能与用户的完整意图不一致。
但如果所有指令都等待很长时间,实时响应性又会下降。
因此需要区分:
- 可以快速处理的高优先级阻止指令。
- 需要等待语义稳定的普通修改。
- 需要澄清的模糊修改。
这是一项交互与调度共同参与的策略问题。
第二,Steering 应该发送给哪个 Turn?
Codex 的 turn/steer 需要指定目标 Thread,并使用 expectedTurnId 检查当前活动 Turn。
因此,应用需要维护准确的 Active Turn 状态。
如果原 Turn 已经完成,就不能把旧 turnId 继续当成有效目标。
第三,Steering 什么时候算生效?
我建议至少区分:
SteerRequested ↓SteerAccepted ↓ConstraintApplied ↓TaskReconciled(如有必要)其中,SteerAccepted 可以由 Codex 控制接口的响应支持。
但 ConstraintApplied 和 TaskReconciled 是我们应用层的语义,需要根据后续执行事件、实际文件变化和必要的验证来定义,不能假装 Codex 已经原生提供这两种状态。
ConstraintApplied 最好由后台显式报告:约束生效时,后台往上发一条生效确认,而不是由应用去推断(见 2-1 第 4.1 节);需要另一方接收的信息都应显式输出(见 1-3 第 1.3 节)。Codex 没有这种信号时,才退回到从执行事件和文件变化推断。
7.3 如果工具已经执行了一半怎么办?
Section titled “7.3 如果工具已经执行了一半怎么办?”这是最复杂的情况之一。
假设:
T1:Codex 开始按陆家嘴附近预约看房T2:用户修正为张江T3:Steering 被接受T4:旧工具操作完成Steering 不能自动撤销 T1 已经开始的操作。
此时可能需要:
- 检查实际已经约好的看房。
- 判断预约是否建立在陆家嘴这一旧前提上。
- 必要时创建修正步骤。
- 向用户说明已经产生的影响。
所以,Steering 是改变后续决策的机制,不是自动回滚机制。
对于紧急阻止某种副作用的需求,还可能需要 Interrupt、权限控制或工具级写入保护,而不能只依赖自然语言 Steering。
8. 核心流程三:Cancel 与 Interrupt
Section titled “8. 核心流程三:Cancel 与 Interrupt”相比 Steering,Cancel 的目标更加明确:停止指定任务的继续执行。
但在持续交互系统中,“停止”仍然存在不同语义。
8.1 用户可能希望停止什么?
Section titled “8.1 用户可能希望停止什么?”例如,用户说:
停一下。
它可能意味着:
- 停止 GPT-Live 正在播放的语音。
- 暂停当前对话。
- 中断 Codex 正在执行的 Turn。
- 停止整个长期 Task。
- 禁止继续修改文件,但保留分析工作。
因此不能将所有打断都直接映射成 turn/interrupt。
Speech Interruption 与 Task Cancellation 是不同的控制操作。
8.2 用户级 Task Cancel
Section titled “8.2 用户级 Task Cancel”假设已经确认用户希望取消任务 A。
sequenceDiagram participant U as User participant L as GPT-Live participant C as Coordination participant A as Codex
U->>L: 取消当前任务 L->>C: Cancel Intent C->>C: Resolve Task A C->>C: Validate State C->>A: turn/interrupt A-->>C: Interrupt Request Accepted C-->>L: 正在停止任务 A-->>C: turn/completed: interrupted C->>C: Reconcile Task State C-->>L: 任务执行已中断 L-->>U: 已停止当前执行这里应当特别注意最后的反馈语义。
“正在停止”与“已经停止”不能混为一谈。
如果 Codex 仍然有外部工具进程在执行,或者已经产生文件修改,系统还需要确认实际情况。
8.3 Cancel 与 Pause 不同
Section titled “8.3 Cancel 与 Pause 不同”Codex 的 turn/interrupt 能够中断执行中的 Turn,但不能直接视为完整的通用 Task Pause / Resume 机制。
例如:
- Cancel 可以终止当前执行轮次。
- Pause 通常意味着保留可恢复的执行状态。
- Resume 可能意味着继续原有工作,而不是重新创建一个新任务。
对于第一版原型,我建议优先验证 Interrupt + 后续 Turn 继续执行 的行为,而不是一开始就承诺支持任意位置的无损暂停。
此外,还需要明确用户级 Task 与 Codex Turn 的关系。
一个 Task 可以跨越多个 Turn,因此中断当前 Turn 不一定意味着整个用户 Task 永久终止。
9. 核心流程四:后台事件如何进入实时对话?
Section titled “9. 核心流程四:后台事件如何进入实时对话?”Codex 执行期间会产生各种事件:
- 模型输出。
- 工具调用开始。
- 工具调用完成。
- 文件修改。
- 测试结果。
- 错误。
- 用户授权请求。
- Turn 完成。
但不是所有事件都应该直接被 GPT-Live 朗读。
9.1 区分状态更新和交互反馈
Section titled “9.1 区分状态更新和交互反馈”我建议采用两个阶段:
第一阶段:Observation
Runtime 接收 Codex 事件,更新应用的真实任务状态。
第二阶段:Presentation
根据事件的重要性和当前交互上下文,决定是否以及何时反馈给用户。
Codex Event ↓Normalize / Correlate ↓Update Task State ↓Feedback Policy ├── Silent Update ├── Progress Summary ├── User Confirmation └── Final Result ↓ GPT-Live ↓ User这里的 Feedback Policy 可以由规则与模型决策共同完成。
例如,Runtime 可以确定某个权限请求必须尽快向用户呈现,但具体如何自然表达,可以交给 GPT-Live。
9.2 哪些事件需要反馈?
Section titled “9.2 哪些事件需要反馈?”| 事件 | 建议处理 |
|---|---|
| 普通工具开始 | 通常静默更新 |
| 高频工具进度 | 聚合后按需提供 |
| 阶段性发现 | 写入前台可用上下文 |
| 任务需要用户确认 | 主动提示 |
| 严重执行错误 | 及时反馈 |
| Task 完成 | 根据对话时机反馈最终结果 |
| Cancel 确认 | 明确告知实际停止状态 |
| 新前提推翻已说出的结论 | 明确收回已说的话,并说明哪些仍然成立(见 1-3 第 5 节) |
例如,Codex 完成通勤计算时,GPT-Live 正在回答用户另一个问题。
Runtime 可以立即记录结果,但没有必要立刻打断当前语音。
这说明:
后台事件的处理时间与用户接收反馈的时间,应当允许分离。
9.3 GPT-Live 的两个关键回传通道
Section titled “9.3 GPT-Live 的两个关键回传通道”对于第一版系统:
- 使用
session.thinking.append提供后台任务状态和进度摘要。 - 使用
session.commentary.append提供适合向用户口头表达的重要信息。
官方明确区分这两类信息的语义。2
例如:
{ "type": "session.thinking.append", "event_id": "progress_001", "delegation_id": "item_example", "content": "租房调研仍在执行,目前看可能浦东更合适,通勤时间尚未算完。"}需要注意,注入内容应当与真实执行状态一致,不应把未经验证的推测描述为确定结论。
9.4 避免信息过载
Section titled “9.4 避免信息过载”Codex 可能产生大量执行事件。
如果每条事件都发送给 GPT-Live,会增加上下文噪声,并可能干扰实时对话。
因此,建议增加一个轻量的事件归纳过程:
Codex Raw Events ↓Event Filtering ↓Task State Update ↓Progress Summarization ↓GPT-Live Context这里的 Summarization 不一定必须通过额外的 LLM 完成。
例如,工具执行状态、文件数量、测试通过与否等信息,可以直接从结构化事件生成简短摘要。
只有涉及复杂语义解释时,才考虑额外模型推理。
10. 并发事件与最新任务状态
Section titled “10. 并发事件与最新任务状态”后到事件如何影响先前已经启动的推理和行动,2-3 异步执行、调度与任务控制 已经用同一个场景讲清楚:用户先要求调研上海租房、说公司在陆家嘴,再修正为张江,而旧工具调用仍在执行。结论是观察数据可以保留并按新前提解释,依赖旧前提的计划要重新验证,尚未执行的 Action 可以修改或取消,已执行的 Action 要检查副作用并在必要时修正。问题的根源是计算期间状态在变(见 1-2 第 1 节)。
这里只补充双脑系统需要的两点。
10.1 任务版本管理
Section titled “10.1 任务版本管理”可以引入应用级 Task Revision:
{ "task_id": "task_001", "revision": 2, "goal": "上海租房调研", "constraints": [ "公司在张江,不是陆家嘴" ], "codex_thread_id": "thr_123", "active_turn_id": "turn_456"}当用户修改目标时,Task Revision 增加。
执行结果可以关联其发起时的 Revision,从而帮助判断是否需要重新验证。
这是处理过时结果的一种做法:结果到达时检查前提版本。另外三种是:前提变了就取消;任务结束前冻结前提;交给模型判断。
但版本管理不能单独解决全部语义冲突。
例如,即使两个结果来自不同版本,它们也可能都是有效的测量数据。
因此,版本是一种辅助机制,最终仍需要结合操作类型和任务目标判断。
10.2 这对双脑系统意味着什么?
Section titled “10.2 这对双脑系统意味着什么?”前台实时模型与后台 Coding Agent 的并发,不只是“两个模型同时运行”。
真正困难的是:
两个执行流产生的信息,如何在持续变化的任务目标下保持一致、可解释和可控制。
异步委派只解决了“不必等”,没有解决“结果还算不算数”(见 1-1 第 2.5 节)。
这也是 Interactive Coordination Layer 的核心价值之一。
11. Scheduling 在双脑系统中应该承担什么?
Section titled “11. Scheduling 在双脑系统中应该承担什么?”2-3 异步执行、调度与任务控制 已经将 Interactive Scheduling 分为 Task、Intervention、Event 和 Feedback 四类。
现在可以进一步收敛。
因为 Codex 已经拥有内部执行机制,我们不需要替它决定每一次模型推理或工具调用的执行顺序。
我们需要解决的是交互层面的跨系统调度。
11.1 两个不同的调度层次
Section titled “11.1 两个不同的调度层次”| 维度 | Interactive Scheduling | Codex Internal Scheduling |
|---|---|---|
| 调度对象 | 用户请求、Task、控制请求、反馈事件 | Turn、Subagent、Tool Call |
| 核心目标 | 交互连续性和控制及时性 | 任务执行效率和正确性 |
| 主要状态 | Conversation Focus、Task Registry | Thread、Turn、执行上下文 |
| 主要操作 | Route、Query、Steer、Cancel、Notify | Reason、Execute、Spawn、Observe |
| 所属层次 | 应用协调层 | Codex Runtime |
我们应该尽量避免上层直接介入 Codex 的内部 Subagent 调度。
否则不仅增加系统复杂度,还可能与 Codex 原生执行策略发生冲突。
11.2 是否需要独立 Scheduler?
Section titled “11.2 是否需要独立 Scheduler?”对于第一版原型,我认为不需要独立的通用 Task Scheduler。
如果暂时只允许一个活跃 Codex Task,那么很多调度决策都比较简单。
例如:
- 用户即时对话优先处理。
- 普通 Codex 进度异步归纳。
- 取消请求及时路由。
- Steering 必须绑定正确的活动 Turn。
- 任务完成时更新状态并触发反馈。
这些可以通过事件处理、任务状态机和少量调度规则实现。
当系统逐步支持多个后台 Task、不同优先级和复杂任务依赖后,再考虑更完整的 Scheduler。
这样可以避免为了架构完整性而过度设计。
11.3 什么是真正需要优先处理的事件?
Section titled “11.3 什么是真正需要优先处理的事件?”例如:
| 事件 | 处理策略 |
|---|---|
| 用户打断 GPT-Live 语音 | 优先在实时交互路径处理 |
| 用户明确取消后台任务 | 尽快验证并发送控制请求 |
| 用户补充任务约束 | 根据语义稳定性和任务状态处理 |
| Codex 普通进度 | 可以合并、延迟反馈 |
| Codex 需要授权 | 及时进入用户确认流程 |
| Codex 最终结果 | 立即更新状态,适时向用户呈现 |
这里的“优先”不是一定要求中断其他所有工作,而是要求各类事件具有符合其语义的响应策略。
特别是对执行器已经产生副作用的操作,实时调度只能降低响应延迟,不能消除安全退出与状态修正的成本。
12. 最小可行原型(MVP)
Section titled “12. 最小可行原型(MVP)”研究到这里,我们需要避免另一个问题:把所有理想能力都放进第一版系统。
我建议采用一个相对明确、可验证的原型范围。
12.1 第一版目标
Section titled “12.1 第一版目标”实现一个用户能够通过 GPT-Live 启动 Codex 任务,并在 Codex 工作期间继续对话、查询进度、补充要求和取消任务的系统。
当前可以先限定:
- 一个 GPT-Live 实时 Session。
- 一个活跃的用户级 Codex Task。
- 一个对应的 Root Codex Thread。
- Codex 内部允许自行使用工具和 Subagent。
- 支持异步任务启动。
- 支持运行中 Steering。
- 支持 Interrupt。
- 支持进度与最终结果反馈。
暂时不实现通用多任务调度、复杂跨任务依赖和自动补偿系统。
12.2 核心组件
Section titled “12.2 核心组件”Voice Client │ ▼GPT-Live Session │ ▼Interactive Adapter │ ├── Intent / Control Resolution ├── Task Registry ├── Codex App Server Client └── Feedback Handler │ ▼ Codex App Server │ ▼ Codex Runtime │ ▼ Tools / Files这里的 Interactive Adapter 就是最小形态的 Coordination Layer。
它不一定需要消息队列、数据库或独立工作流引擎。
在本地原型中,可以先采用单进程异步事件循环与轻量持久化状态。
但对于可能重复执行的文件修改和工具操作,仍需要保留任务标识和真实执行状态。
12.3 分阶段实现
Section titled “12.3 分阶段实现”| 阶段 | 实现内容 | 验证目标 |
|---|---|---|
| P0 | GPT-Live → Codex Delegation | 能正确创建并启动任务 |
| P1 | Codex Events → GPT-Live | 能持续观察和反馈进度 |
| P2 | 用户语音 → Codex Steering | 新约束能作用于正确 Turn |
| P3 | 用户语音 → Interrupt | 能验证任务实际中断 |
| P4 | Task State 与版本管理 | 能处理迟到结果和状态变化 |
| P5 | Session 恢复 | 语音重连后仍能找到原任务 |
这样的推进方式有一个好处:
每个阶段都可以单独验证,而不必一开始就解决所有复杂问题。
12.4 建议的核心测试场景
Section titled “12.4 建议的核心测试场景”场景 A:后台执行期间继续对话
用户启动 Codex 后提出一个无关即时问题。
验证 GPT-Live 是否能够及时回应,且 Codex 工作不被错误改变。
场景 B:运行中 Steering
用户先要求调研上海租房、说公司在陆家嘴,再修正为张江。
验证修正是否到达正确 Turn,以及后续执行是否按张江进行。
场景 C:取消竞争
用户在 Codex 即将完成时发出取消。
验证系统能否正确区分任务已经完成、正在取消或最终中断。
场景 D:迟到结果
工具调用在旧约束下启动,新约束到达后工具才返回。
验证系统是否能够根据最新 Task State 处理结果。
场景 E:任务引用歧义
用户说“把那个停掉”,但目标不明确。
验证系统是否要求澄清,而不是猜测后执行破坏性操作。
12.5 关键评估指标
Section titled “12.5 关键评估指标”| 指标 | 衡量的问题 |
|---|---|
| Interaction Latency | GPT-Live 是否保持低延迟回应 |
| Delegation Latency | 从用户请求到 Codex 开始执行的时间 |
| Steering Acceptance Latency | Codex 接受新要求需要多久 |
| Steering Effectiveness | 后续执行是否真正遵守新约束 |
| Cancellation Latency | 实际停止执行需要多久 |
| Task Resolution Accuracy | 用户意图是否关联到正确 Task |
| Feedback Timeliness | 重要事件是否在合适时间反馈 |
| Task Success Rate | 持续交互是否影响任务完成质量 |
其中,Steering Effectiveness 比单纯测量 turn/steer 接口的返回时间更加重要。
因为控制请求被接受不等于实际目标已经改变。
13. 从双脑过渡到统一实时模型
Section titled “13. 从双脑过渡到统一实时模型”本文虽然研究 GPT-Live + Codex,但目标是持续交互的能力(见 0-0 第 7.1 节),两个独立模型只是实现它的一种方式。统一以后,交互和推理分成两条流的需要仍然存在,只是从两个模型移进一个模型(见 3-0 第 4 节)。
因此,现在的设计应该允许未来逐渐替换模型能力,而不必重建全部任务和执行协议。
13.1 当前的能力拆分
Section titled “13.1 当前的能力拆分”User / Environment │ ▼GPT-Live │ ▼Interactive Coordination │ ▼Codex Runtime │ ▼External ToolsGPT-Live 负责交互,Codex 负责长期复杂工作。
中间层弥合持续交互语义与离散执行控制之间的差异。
13.2 未来可能的统一形态
Section titled “13.2 未来可能的统一形态”User / Environment │ ▼Unified Full-Duplex Model │ ▼Interactive Execution Runtime │ ▼External Tools当统一模型逐渐具备更强的复杂推理、持续状态维护和行动控制能力时,部分协调决策可以回到模型内部。
例如:
- 自然语言任务引用理解。
- 持续目标维护。
- 推理过程中的新约束融合。
- 交互与行动的联合决策。
但一些系统机制仍然需要保留:
- 外部 Task 与 Action 身份。
- 实际执行状态。
- 权限和用户授权。
- 事件关联与执行确认。
- 外部副作用管理。
- 持久化和恢复。
因此,统一模型的出现不意味着 Interactive Runtime 会消失。
它更可能改变模型与 Runtime 之间的职责边界。
13.3 当前架构应遵循什么演进原则?
Section titled “13.3 当前架构应遵循什么演进原则?”我建议采用三个原则。
第一,面向用户级 Task,而不是直接暴露 Codex 内部身份。
用户不应该被要求理解 Thread 和 Turn 才能控制任务。
第二,应用级协议尽量使用通用的 Event、Action、Task、State 语义。
Codex 的 App Server 方法可以由 Adapter 负责映射。
例如:
TaskCancel ↓Codex Adapter ↓turn/interrupt未来更换执行模型时,只需要替换对应的执行适配逻辑。
第三,不复制 Codex 已有的 Agent 执行机制。
我们要补的是交互与执行之间的协调能力,而不是重新实现一个 Coding Agent。
这一原则同样适用于未来更强的实时模型。
14. 尚未解决的关键问题
Section titled “14. 尚未解决的关键问题”14.1 GPT-Live 应承担多少任务语义理解?
Section titled “14.1 GPT-Live 应承担多少任务语义理解?”GPT-Live 擅长自然交互,但它并不原生掌握全部 Codex 执行状态。
因此,需要研究:
- 是否通过任务摘要注入增强 GPT-Live 的上下文?
- 是否需要独立的控制意图解析?
- 如何判断用户新输入是否已经足够完整?
- 如何处理实时转录错误?
- 如何避免模型错误选择目标 Task?
这可能是第一版系统最重要的能力缺口。
14.2 Steering 是否足以支持实时干预?
Section titled “14.2 Steering 是否足以支持实时干预?”Codex 的 Steering 允许向活动 Turn 追加输入。
但它不一定可以立即停止正在执行的外部工具,也不能自动回滚已经发生的副作用。
因此需要研究:
- 什么情况下使用 Steering?
- 什么情况下先 Interrupt 再重新规划?
- 如何验证后续行为遵守新约束?
14.3 Conversation State 与 Codex State 如何保持一致?
Section titled “14.3 Conversation State 与 Codex State 如何保持一致?”GPT-Live 与 Codex 维护不同的上下文。
如果长期对话中用户不断修改任务目标,可能出现:
- GPT-Live 已经知道新要求。
- Task Registry 已更新。
- Codex 仍然按照旧目标推进。
Task Registry 已更新、Codex 仍按旧目标推进,这段延迟就是 2-1 第 4.1 节所说的“已接受”与“已生效”之间的空档;后台显式发出生效确认,就能识别它(见 7.2 节)。剩下的问题是:状态以谁为准。
14.4 是否需要支持多个后台 Task?
Section titled “14.4 是否需要支持多个后台 Task?”第一版可以只允许一个活跃 Task。
但未来用户可能同时要求:
- 重构一个模块。
- 比较几家房产中介。
- 后台执行测试。
这时系统需要处理任务并发、资源竞争、任务引用和跨任务依赖。
是否使用多个 Codex Thread,以及它们如何共享执行环境,应当在支持多任务时再进行专门设计。
14.5 GPT-Live 的交互策略应该由模型还是应用控制?
Section titled “14.5 GPT-Live 的交互策略应该由模型还是应用控制?”例如,Codex 完成任务时,是否立即向用户播报?
模型可能更擅长判断自然的交互时机。
但权限确认、严重错误和紧急控制事件,可能需要应用保证及时处理。
这意味着系统可能需要一种模型语义策略与 Runtime 规则共同参与的交互调度机制。
15. 总结
Section titled “15. 总结”本文研究了如何利用 GPT-Live 与 Codex,构建一个面向实时交互智能体的双脑过渡架构。
从理想系统出发,我们可以得到以下结论。
第一,两个独立模型是当前技术条件下的过渡做法;交互和推理分成两条流,则在统一以后仍然保留。
GPT-Live 承担持续、低延迟的实时交互,Codex 承担复杂推理与长期行动。
第二,GPT-Live 与 Codex 已经提供了大量可以直接复用的原生能力。
GPT-Live 提供全双工语音交互、Client Delegation 和后台信息注入。
Codex 提供 Thread、Turn、工具执行、Steering、Interrupt 及执行事件。
第三,系统真正需要新增的是 Interactive Coordination。
它将持续自然语言交互关联到具体后台任务,并协调控制请求、状态变化和反馈事件。
第四,Scheduling 只是交互协调的一部分。
更根本的是让用户的新输入能够正确影响已有任务,并确保控制操作具有明确的目标、执行时机和生效语义。
第五,任务身份与执行身份需要区分。
User Task、Codex Thread、Codex Turn 和 GPT-Live Delegation 分别具有不同的生命周期。
不应简单使用某一个标识替代全部概念。
第六,必须区分模型理解、控制请求和实际执行。
例如:
SteerRequested ≠ SteerAppliedCancelRequested ≠ TaskInterruptedTaskCompleted ≠ ResultPresented这些区别是构建可靠实时交互系统的重要基础。
第七,当前架构应该允许向未来统一模型演进。
当实时模型逐渐具备更强的复杂推理与持续行动能力时,部分协调功能可能回归模型内部。
但任务状态、权限、外部执行和操作确认仍然需要可靠的 Runtime 支撑。
因此,我们现在真正要构建的不是一个简单的 Voice Interface for Codex,而是:
一个以 GPT-Live 为实时交互入口、以 Codex 为后台执行能力、通过持续事件和任务控制实现自然人机协作的 Interactive Agent System。
它最终希望实现的体验是:
用户可以像与一位正在工作的同事交流一样,随时向 AI 提问、补充要求、改变目标、检查进度或停止工作,而不必等待完整的 Agent Turn 结束。
这正是从传统 Turn-Based Agent 向 Continuous Interactive Agent 演进的实际工程路径。
延伸阅读:Codex 开源实现66 OpenAI. Codex GitHub Repository — Codex Runtime 和相关开源实现。 、Interaction Models77 Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 、Temporal 工作流消息。88 Temporal Technologies. Workflow Message Passing — 运行中任务的 Signal、Update 和 Query 机制。
-
OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 ↩
-
OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。 ↩ ↩2 ↩3 ↩4 ↩5
-
OpenAI. Managing GPT-Live Sessions — 实时会话与上下文管理。 ↩
-
OpenAI. Live API Reference — 实时事件与协议对象定义。 ↩
-
OpenAI. Codex App Server — Thread、Turn、Steering、Interrupt 与事件协议。 ↩ ↩2 ↩3
-
OpenAI. Codex GitHub Repository — Codex Runtime 和相关开源实现。 ↩
-
Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 ↩
-
Temporal Technologies. Workflow Message Passing — 运行中任务的 Signal、Update 和 Query 机制。 ↩