跳转到内容

Interactive Agent3-1 · 架构方案

GPT-Live + Codex:面向实时交互智能体的双脑过渡架构

利用 GPT-Live 与 Codex 构建实时交互智能体,设计任务关联、运行中控制、事件反馈与演进路径。

更新于 阅读约 31 分钟

前面几篇从理想的 Continuous Interactive Agent 出发,讨论了推理范式、全双工模型、实时交互范式、事件驱动架构,以及异步执行、调度与任务控制机制。

我们希望构建的系统能够持续感知用户、实时回应、执行复杂任务,并允许用户在任务运行过程中随时交流、观察和干预。

理想情况下,这些能力可以由一个足够强大的 Unified Full-Duplex Interactive Model 统一承担。

但即使统一,交互和深度推理仍要分成两条流:深度推理的耗时远超交互节奏,这来自任务难度的不同,与模型快慢无关(见 1-2 第 2 节、3-0 第 4 节)。过渡的只是”用两个独立模型来实现这两条流”这种形态。因此,将两者拆分为前台交互模型与后台执行 Agent,是一种值得探索的过渡方案。

本文选择 GPT-Live 与 Codex 作为具体研究对象:

  • GPT-Live:负责实时语音交互、持续感知、自然回应及后台委派。
  • Codex:负责复杂推理、规划、工具调用和长期任务执行。
  • Interactive Coordination Layer:负责连接两者的任务状态、交互意图、控制指令和执行事件。

这里最重要的问题并不是如何把 GPT-Live 的语音转录发送给 Codex,而是:

如何让用户在 Codex 持续工作时,仍然可以通过 GPT-Live 自然地了解、修改、暂停或取消后台任务,而不必理解 Thread、Turn、Subagent 等底层概念?

本文首先分析 GPT-Live 和 Codex 已有的公开能力,再从理想实时交互系统的要求出发,设计一种尽量复用原生机制的过渡架构。

本文属于候选系统设计,并不表示所有提出的交互控制能力已经由 GPT-Live 或 Codex 原生实现。

前面已经提出,理想实时交互智能体应该具备以下能力:

  • 持续接收多模态输入。
  • 同时处理输入与输出。
  • 及时响应用户打断。
  • 长时间维持任务目标和工作状态。
  • 在复杂推理期间继续处理即时交互。
  • 接收运行中的任务修改。
  • 根据工具结果和新用户输入持续调整行动。

这些能力不一定必须由两个模型实现。

但实际系统还面临推理延迟、计算预算、模型专长和执行环境等限制。

特别是实时语音交互与复杂 Coding Agent 工作具有不同特点。

特征实时交互复杂 Coding Agent
时间要求低延迟、持续响应允许较长推理和执行时间
输入连续音频、用户插话任务目标、上下文、工具结果
输出流式语音、即时反馈代码、工具调用、文件和测试结果
主要优化目标自然性、响应性正确性、任务完成质量
工作状态持续对话上下文Thread、Turn、工具执行历史

如果把两种工作放进一条推理流,长时间推理就会推迟语音(见 3-0 第 3 节)。要分开,是因为两类任务的耗时差别太大,而不是算力不够。

因此,当前可以将能力拆分:

GPT-Live 负责 Interaction,Codex 负责 Agency。

这里需要明确一个概念边界。

我们的双脑系统并不是让两个完全对等的 Agent 相互讨论、共同决定所有事情。

它更接近两种不同时间尺度的智能活动:

Foreground Intelligence

负责持续交互,对用户的新输入保持敏感。

Background Intelligence

负责长期目标驱动的推理和行动。

二者共享用户目标和相关任务状态,但不必共享完整的模型上下文或完全一致的执行循环。

这对拆分就是 2-2 实时交互系统架构与协议 里的 Interaction Loop 与 Agency Loop,也对应 1-3 全双工模型的联合建模 里的 Interaction Stream 与 Reasoning Stream。

双脑的目的不是永久保留两个模型,而是在当前技术条件下逼近理想体验。

我们希望用户感受到的是一个持续工作的智能体,而不是:

先对语音模型说话,再等待它把任务转交给另一个 Agent,最后由语音模型复述结果。

因此,设计重点不是模型数量,而是交互与行动的连续性。

GPT-Live 是双脑系统中的实时交互部分。

根据 OpenAI 公开文档,它支持实时语音输入输出、全双工交互,以及将复杂工作委派到后台。11 OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 22 OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。

GPT-Live 提供:

  • 持续语音输入。
  • 流式语音输出。
  • 输入输出时间上的重叠。
  • 用户插话和语音交互控制。
  • 增量转录事件。
  • 会话内持续的交互上下文。

这些能力让我们不必从头搭建传统的 ASR → LLM → TTS 语音流水线。

但全双工语音交互不等于可靠的后台任务控制。

GPT-Live 可以理解用户表达的意图,却不天然知道外部 Codex 当前运行了哪些 Thread、Turn,以及哪个任务已经真正停止。

GPT-Live 支持将工作委派给应用自己运行的后台服务。

Client Delegation 的一个关键事件是:

{
"type": "session.delegation.created",
"event_id": "event_delegation",
"offset_ms": 1000,
"delegation": {
"id": "item_example",
"type": "delegation",
"target": "client"
}
}

这里的 item_example 只是示例标识。

这个事件告诉应用:GPT-Live 创建了一次后台委派。

但需要特别注意:

Delegation 事件本身不包含完整的任务文本。

应用需要结合转录事件、当前会话上下文和自身状态,构造真正发送给 Codex 的任务请求。2

这意味着 Delegation 解决了任务委派的触发机制,并没有自动解决用户任务语义、后台执行标识和任务控制之间的映射。

GPT-Live 提供不同语义的信息注入方式:

事件用途
session.thinking.append提供模型可使用、但不要求立即播报的后台信息
session.commentary.append提供适合向用户口头反馈的信息
session.instructions.append追加会话行为指令

例如,Codex 完成部分分析后,应用可以通过 session.thinking.append 更新前台可用的任务上下文。

而当用户需要知道重要结果时,可以使用 session.commentary.append 请求 GPT-Live 自然表达相关内容。

这里还需要区分:

  • 信息已发送。
  • GPT-Live 已确认上下文注入。
  • 模型实际理解或使用了信息。
  • 用户已经听到对应反馈。

官方文档说明,Append 确认并不等同于语音播放完成,也不保证模型一定保持沉默或逐字表达。2

对于我们正在研究的系统,GPT-Live 并不原生提供完整的 Codex Task Controller。

尤其不能默认它能够可靠完成:

  • 列出全部 Codex 任务。
  • 将“刚才那个任务”解析为正确的 Thread。
  • 判断某次文件修改是否已经完成。
  • 直接停止指定 Codex Turn。
  • 保证新的约束已经在 Codex 中生效。

因此,GPT-Live 可以成为持续交互的智能入口,但不能被视为全部执行状态的权威来源。

截至 2026 年 10 月,GPT-Live 提供了专门的实时会话和后台委派机制。

官方文档中可以看到:

  • WebRTC 和 WebSocket 连接。
  • Sideband 连接。
  • 实时输入输出转录事件。
  • Client Delegation。
  • 后台信息与结果注入。
  • Session 配置和状态更新。33 OpenAI. Managing GPT-Live Sessions — 实时会话与上下文管理。 44 OpenAI. Live API Reference — 实时事件与协议对象定义。

但它们仍主要服务于 GPT-Live 的现有交互与委派模型。

不能将这些事件直接视为一个通用、完整的持续智能体任务控制协议。

尤其在 Client Delegation 模式中,应用仍需自行维护长期任务状态、处理授权和控制后台工作。2

对照 2-2 实时交互系统架构与协议 提出的理想协议:

能力GPT-Live 公开能力理想 Interactive Protocol
持续音频输入输出支持必须支持
实时转录事件支持支持多模态事件
后台工作委派支持通用 Action / Task 模型
后台结果回传支持带关联、版本和确认语义的事件
长期任务状态应用维护明确的 Task State
通用任务控制依赖应用和后台标准化控制对象与执行结果
跨会话恢复应用维护相关上下文独立的 Session / Task Lifecycle
行动副作用管理应用负责Runtime 可靠执行机制

这个对比不是评价现有 API 的缺陷,而是说明两者的设计范围不同。

GPT-Live 的主要目标是提供实时语音交互与后台委派能力,而理想协议面向的是更一般的、未来统一智能体的系统。差距里的每一行,就是本文协调层要补的东西。

Codex 是双脑系统中的后台执行部分。

与普通的异步 Worker 不同,Codex 自身就是一个完整的 Agent Runtime。

它不仅能够执行一次工具调用,还能够维护会话、进行多轮推理、管理执行状态,并将工作委派给内部 Subagent。

Codex 的执行结构中,几个概念非常重要。

Thread

表示一个持续的 Codex 会话上下文。

Turn

表示在 Thread 中启动的一次 Agent 执行过程。

Subagent

表示 Codex 在自身执行过程中委派的子 Agent。

概念关系如下:

Codex Thread A
│
├── Turn 1:分析项目
│
├── Turn 2:执行优化
│ │
│ ├── Subagent A:分析计算瓶颈
│ └── Subagent B:分析内存问题
│
└── Turn 3:验证测试

这个结构说明:

Codex 内部已经具有任务执行和子 Agent 协作机制,我们没有必要重新实现这些能力。

不过,Subagent 的创建与管理属于 Codex 内部 Agent Control。外部 App Server 客户端不应假定自己能够直接控制内部所有子 Agent,也不应假定全部内部执行关系都通过稳定 API 暴露。

Codex 提供 App Server 接口,允许外部客户端管理 Thread、启动 Turn、监听事件,并进行运行中控制。

公开文档中的核心方法包括:

方法作用
thread/start创建新的 Thread
thread/resume恢复已有 Thread
turn/start在 Thread 中启动 Turn
turn/steer向当前运行中的 Turn 追加输入
turn/interrupt请求中断指定 Turn
thread/read读取 Thread 信息
turn/completedTurn 结束事件

Codex App Server 使用请求、响应及通知事件来组织这些交互,客户端能够监听工具进度、模型输出和执行状态变化。55 OpenAI. Codex App Server — Thread、Turn、Steering、Interrupt 与事件协议。

例如,Codex 正在运行一个 Turn。

外部客户端可以发送:

{
"method": "turn/steer",
"id": 32,
"params": {
"threadId": "thr_123",
"expectedTurnId": "turn_456",
"input": [
{
"type": "text",
"text": "公司在张江,不是陆家嘴"
}
]
}
}

这是 Codex App Server 文档所描述的请求结构。5

其中 expectedTurnId 很重要。

它要求 Steering 必须针对预期的活动 Turn。

如果该 Thread 已经没有对应的活动 Turn,请求会失败。

这是一种基本的并发保护,能够避免将新约束误投到错误的执行轮次。

但是:

Steer 请求被接受,不代表 Codex 已经修正所有受影响的文件,也不代表正在运行的外部工具会立即停止。

新约束先排队,到下一个模型调用边界才进入上下文;在此之前,正在运行的长命令和当前这次推理仍按旧前提计算(见 1-2 第 1.3 节)。

同样可以通过:

{
"method": "turn/interrupt",
"id": 31,
"params": {
"threadId": "thr_123",
"turnId": "turn_456"
}
}

请求中断当前 Turn。

成功调用后,文档说明该 Turn 会以 interrupted 状态结束。5

不过,需要继续区分:

  • Codex Turn 被中断。
  • 内部工具进程是否已经停止。
  • 文件修改是否已产生副作用。
  • 任务是否需要执行补偿或恢复。

这些不应被简单理解为一次 API 调用就能够保证的全部行为。

Codex 擅长执行明确的工作目标,但它本身并不天然维护 GPT-Live 的完整实时交互状态。

例如:

  • 用户当前正在谈论哪个任务?
  • 用户说的“刚才那个”指哪个 Task?
  • 当前是否适合打断用户播报进度?
  • 用户的某句话只是闲聊,还是对后台目标的修改?

这些属于交互层与执行层之间的协调问题。

因此,GPT-Live 和 Codex 虽然都有较强能力,但仍然存在需要系统设计连接的边界。

4. 双脑系统真正缺失的是什么?

Section titled “4. 双脑系统真正缺失的是什么?”

前面可以看到,GPT-Live 已经提供持续交互能力,Codex 已经提供复杂任务执行和运行中控制能力。

两者之间缺少的并不是另一套完整的 Agent Runtime。

而是:

将持续自然语言交互转化为正确的后台任务操作,并把后台执行状态重新融入实时交互的能力。

我将它称为 Interactive Coordination(交互协调)。

能力缺口核心问题
Interaction → Task用户现在说的话与哪个任务有关?
Interaction → Control应该创建、更新、查询还是取消任务?
Execution → Interaction后台发生的事情应该何时、如何告诉用户?

以一个场景为例:

用户:“帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。”

GPT-Live:“好的。”

Codex 开始执行。

用户:“等等,公司在张江,不是陆家嘴。”

这时,“公司在张江,不是陆家嘴”并不是一个需要单独回答的普通问题。

它可能需要修改正在运行的 Codex Turn。

但如果用户接下来又说:

“现在 Python 最新版本是什么?”

系统就不应该把这个问题当成租房调研任务的 Steering。

因此,问题的关键不仅是意图分类,还包括任务关联、上下文理解和执行控制。

4.2 语义判断与可靠控制应当分离

Section titled “4.2 语义判断与可靠控制应当分离”

我建议区分两种职责。

Semantic Decision

理解用户想要做什么。

例如,识别一条话语可能表达了取消、补充要求或进度查询。

Runtime Control

确认目标任务、检查状态并执行操作。

例如,将取消请求转换为针对正确 threadId 和 turnId 的 Codex 中断操作。

二者不能完全等同。

因为模型可以理解“停止刚才那个任务”的语言含义,但它不一定知道“刚才那个任务”的真实执行身份。

即使模型推断出一个 Task ID,也需要基于实际 Task Registry 验证。

4.3 不应该把所有新输入都发送给 Codex

Section titled “4.3 不应该把所有新输入都发送给 Codex”

一种简单实现是:GPT-Live 收到用户新语音后,将转录全部追加到当前 Codex Thread。

这种方案实现成本低,但有明显问题。

例如:

  • 无关闲聊可能干扰 Codex 的工作。
  • 用户的即时问题可能被解释为新的 Coding 任务。
  • 一句尚未说完的话可能过早修改后台目标。
  • 用户取消意图可能被当作普通补充说明。
  • 当前存在多个任务时,输入可能被发送给错误的 Thread。

所以,我们需要一个明确的交互到执行的转换边界。

这不代表必须每句话都调用独立的分类模型。

在当前实现中,可以结合 GPT-Live 的语义能力、委派事件、会话转录、应用状态和必要的独立判断机制。

一种做法是“通知走增量,内容按引用取”(见 2-1 第 8.2 节):Coordination 只给 Codex 发简短的增量,并标明它在会话转录中的位置;转录放在 Codex 能读的共享记录里,增量不够时再按引用去读原话。

但是无论采用哪种方式,最终执行的命令都应拥有明确的操作类型和目标身份。

5. Interactive Coordination Layer:候选系统架构

Section titled “5. Interactive Coordination Layer:候选系统架构”

基于现有能力,我建议采用一个尽可能轻量的交互协调层。

其职责是管理 GPT-Live 与 Codex 的协作关系,而不是替代任何一方已有的内部机制。

flowchart TB
U["User / Environment"]
L["GPT-Live<br/>Full-Duplex Interaction"]
subgraph C["Interactive Coordination Layer"]
R["Intent & Task Resolution"]
M["Task Registry & State"]
K["Control Coordination"]
F["Feedback Coordination"]
end
A["Codex App Server"]
subgraph E["Codex Execution Runtime"]
T["Thread / Turn"]
S["Internal Subagents"]
X["Tools / Environment"]
end
U <--> L
L <--> R
R <--> M
M <--> K
K <--> A
A <--> T
T <--> S
T <--> X
A --> F
F --> L

这里的 Coordination Layer 只是一个逻辑层。

在最小实现中,它完全可以是单个应用进程中的若干模块,而不需要单独部署 Scheduler、消息队列或工作流引擎。

职责作用是否需要重新实现 Codex 能力
Interaction Context维护当前对话关注点不需要
Task Registry关联用户任务与 Codex 执行需要少量应用级状态
Intent & Task Resolution解析用户控制对象需要设计
Control Coordination调用 Codex 现有控制接口复用 Codex
Feedback Coordination处理进度和结果的反馈时机需要设计

其中最有研究价值的是 Intent & Task Resolution,以及运行中控制与反馈的协调。

5.3 Task Registry:是否真的需要自己的 Task ID?

Section titled “5.3 Task Registry:是否真的需要自己的 Task ID?”

Codex 已经具有 threadId 和 turnId,因此一个自然的问题是:

能否直接将 Codex Thread ID 作为用户任务 ID?

对于最小原型,如果始终采用“一个用户任务对应一个 Codex Root Thread”的约束,这样做可以简化实现。

但从长期系统设计来看,我更建议区分:

  • User Task:用户理解的一项持续工作。
  • Codex Thread:Codex 的会话上下文。
  • Codex Turn:一次具体执行轮次。

例如:

User Task:上海租房调研
│
└── Codex Thread A
├── Turn 1:查租金
├── Turn 2:算通勤
└── Turn 3:汇总结论

用户认为这是一个任务,而 Codex 可以通过多个 Turn 完成。

反过来,一个 Thread 也可能被复用于多个相关但不同的工作目标。

因此,建议至少保留应用级任务标识与 Codex 身份的映射。

{
"task_id": "task_001",
"title": "上海租房调研",
"codex_thread_id": "thr_123",
"active_turn_id": "turn_456",
"status": "running",
"revision": 3
}

这是本文提出的应用数据模型,不是 Codex 官方返回结构。

5.4 Conversation Focus:当前用户在讨论什么?

Section titled “5.4 Conversation Focus:当前用户在讨论什么?”

Task Registry 解决任务身份问题,但还需要回答:

“用户现在说的这句话对应哪个任务?”

例如:

Task A:上海租房调研
Task B:查搬家公司
用户:“第一个先停一下。”

这里的“第一个”需要结合对话历史和展示顺序解析。

如果用户说:

“刚才那个继续。”

则可能需要结合最近讨论的任务、当前活动任务和历史控制操作。

我建议维护一个轻量的 Conversation Focus:

{
"session_id": "live_session_01",
"focused_task_id": "task_001",
"recent_task_ids": [
"task_001",
"task_002"
]
}

但 Focus 只能提供上下文线索,不能成为所有操作的唯一依据。

当引用存在歧义,特别是涉及终止或破坏性操作时,系统应该主动澄清。

6. 核心流程一:从语音委派到 Codex 执行

Section titled “6. 核心流程一:从语音委派到 Codex 执行”

考虑用户说:

帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。

sequenceDiagram
participant U as User
participant L as GPT-Live
participant C as Coordination
participant A as Codex
U->>L: 上海租房调研,公司在陆家嘴
L-->>C: Delegation Created
C->>C: 构造任务意图
C->>C: 创建 User Task
C->>A: thread/start
A-->>C: threadId
C->>A: turn/start
A-->>C: turnId
C-->>L: 任务已启动
L-->>U: 已开始调研
Note over U,L: 继续实时对话
Note over A: Codex 后台执行
A-->>C: Progress Events
C-->>L: 状态摘要

这里至少存在三个不同标识:

标识来源作用
delegation_idGPT-Live关联一次委派及其回传
task_id应用表示用户级持续任务
thread_idCodex表示实际执行会话

delegation_id 不能直接替代 thread_id。

因为 GPT-Live 和 Codex 分别管理不同的生命周期。

例如,一次 Delegation 可以启动一个持续数分钟的 Codex Task;实时会话结束后,Codex Task 仍可能继续执行。

另外,启动成功后应当记录实际返回的 Codex Thread 和 Turn 标识,而不能自行推测。

发送给 Codex 的任务不应该只有一句未经处理的语音转录。

至少可能需要:

  • 用户真实目标。
  • 当前工作目录或仓库。
  • 已明确的约束。
  • 必要的历史上下文。
  • 当前执行权限。
  • 是否允许修改文件。

但也不应该无条件发送整个 GPT-Live 对话历史。

例如,用户与 GPT-Live 的无关闲聊不一定有助于 Codex 完成任务。

因此,任务委派需要一种上下文选择与构造机制。任务运行中的后续输入也一样,不必转发整段转录,可以发增量、按引用取原话(见 4.3 节、2-1 第 8.2 节)。

最小原型可以先使用完整的任务描述和少量相关上下文,后续再研究更复杂的摘要与上下文管理。

7. 核心流程二:执行过程中 Steering

Section titled “7. 核心流程二:执行过程中 Steering”

Steering 是这套系统最值得重点研究的能力。

假设 Codex 正在按陆家嘴计算各区的通勤时间,用户突然说:

刚才说错了,公司在张江。

这个场景包含两个并发过程:

  • Codex 正在持续执行已有任务。
  • 用户通过 GPT-Live 修正任务前提。
sequenceDiagram
participant U as User
participant L as GPT-Live
participant C as Coordination
participant A as Codex
Note over A: Turn A 正在执行
U->>L: 刚才说错了,公司在张江
L->>C: 用户新输入
C->>C: 识别 Update Intent
C->>C: 解析目标 Task
C->>C: 检查 activeTurnId
C->>A: turn/steer
A-->>C: accepted turnId
C->>C: 更新控制请求状态
C-->>L: 修改请求已接受
L-->>U: 好的,张江
Note over L: 生效之前,不转述旧前提下的结论
Note over A: 后续推理处理新约束
A-->>C: 执行进度与结果
C-->>L: 实际状态更新

第一,Steering 应该何时发出?

用户可能一句话还没说完。

例如:

“是张江……不对,我再确认一下地址。”

如果系统在前半句到达时立即发出不可撤销的控制,可能与用户的完整意图不一致。

但如果所有指令都等待很长时间,实时响应性又会下降。

因此需要区分:

  • 可以快速处理的高优先级阻止指令。
  • 需要等待语义稳定的普通修改。
  • 需要澄清的模糊修改。

这是一项交互与调度共同参与的策略问题。

第二,Steering 应该发送给哪个 Turn?

Codex 的 turn/steer 需要指定目标 Thread,并使用 expectedTurnId 检查当前活动 Turn。

因此,应用需要维护准确的 Active Turn 状态。

如果原 Turn 已经完成,就不能把旧 turnId 继续当成有效目标。

第三,Steering 什么时候算生效?

我建议至少区分:

SteerRequested
↓
SteerAccepted
↓
ConstraintApplied
↓
TaskReconciled(如有必要)

其中,SteerAccepted 可以由 Codex 控制接口的响应支持。

但 ConstraintApplied 和 TaskReconciled 是我们应用层的语义,需要根据后续执行事件、实际文件变化和必要的验证来定义,不能假装 Codex 已经原生提供这两种状态。

ConstraintApplied 最好由后台显式报告:约束生效时,后台往上发一条生效确认,而不是由应用去推断(见 2-1 第 4.1 节);需要另一方接收的信息都应显式输出(见 1-3 第 1.3 节)。Codex 没有这种信号时,才退回到从执行事件和文件变化推断。

7.3 如果工具已经执行了一半怎么办?

Section titled “7.3 如果工具已经执行了一半怎么办?”

这是最复杂的情况之一。

假设:

T1:Codex 开始按陆家嘴附近预约看房
T2:用户修正为张江
T3:Steering 被接受
T4:旧工具操作完成

Steering 不能自动撤销 T1 已经开始的操作。

此时可能需要:

  • 检查实际已经约好的看房。
  • 判断预约是否建立在陆家嘴这一旧前提上。
  • 必要时创建修正步骤。
  • 向用户说明已经产生的影响。

所以,Steering 是改变后续决策的机制,不是自动回滚机制。

对于紧急阻止某种副作用的需求,还可能需要 Interrupt、权限控制或工具级写入保护,而不能只依赖自然语言 Steering。

相比 Steering,Cancel 的目标更加明确:停止指定任务的继续执行。

但在持续交互系统中,“停止”仍然存在不同语义。

例如,用户说:

停一下。

它可能意味着:

  • 停止 GPT-Live 正在播放的语音。
  • 暂停当前对话。
  • 中断 Codex 正在执行的 Turn。
  • 停止整个长期 Task。
  • 禁止继续修改文件,但保留分析工作。

因此不能将所有打断都直接映射成 turn/interrupt。

Speech Interruption 与 Task Cancellation 是不同的控制操作。

假设已经确认用户希望取消任务 A。

sequenceDiagram
participant U as User
participant L as GPT-Live
participant C as Coordination
participant A as Codex
U->>L: 取消当前任务
L->>C: Cancel Intent
C->>C: Resolve Task A
C->>C: Validate State
C->>A: turn/interrupt
A-->>C: Interrupt Request Accepted
C-->>L: 正在停止任务
A-->>C: turn/completed: interrupted
C->>C: Reconcile Task State
C-->>L: 任务执行已中断
L-->>U: 已停止当前执行

这里应当特别注意最后的反馈语义。

“正在停止”与“已经停止”不能混为一谈。

如果 Codex 仍然有外部工具进程在执行,或者已经产生文件修改,系统还需要确认实际情况。

Codex 的 turn/interrupt 能够中断执行中的 Turn,但不能直接视为完整的通用 Task Pause / Resume 机制。

例如:

  • Cancel 可以终止当前执行轮次。
  • Pause 通常意味着保留可恢复的执行状态。
  • Resume 可能意味着继续原有工作,而不是重新创建一个新任务。

对于第一版原型,我建议优先验证 Interrupt + 后续 Turn 继续执行 的行为,而不是一开始就承诺支持任意位置的无损暂停。

此外,还需要明确用户级 Task 与 Codex Turn 的关系。

一个 Task 可以跨越多个 Turn,因此中断当前 Turn 不一定意味着整个用户 Task 永久终止。

9. 核心流程四:后台事件如何进入实时对话?

Section titled “9. 核心流程四:后台事件如何进入实时对话?”

Codex 执行期间会产生各种事件:

  • 模型输出。
  • 工具调用开始。
  • 工具调用完成。
  • 文件修改。
  • 测试结果。
  • 错误。
  • 用户授权请求。
  • Turn 完成。

但不是所有事件都应该直接被 GPT-Live 朗读。

我建议采用两个阶段:

第一阶段:Observation

Runtime 接收 Codex 事件,更新应用的真实任务状态。

第二阶段:Presentation

根据事件的重要性和当前交互上下文,决定是否以及何时反馈给用户。

Codex Event
↓
Normalize / Correlate
↓
Update Task State
↓
Feedback Policy
├── Silent Update
├── Progress Summary
├── User Confirmation
└── Final Result
↓
GPT-Live
↓
User

这里的 Feedback Policy 可以由规则与模型决策共同完成。

例如,Runtime 可以确定某个权限请求必须尽快向用户呈现,但具体如何自然表达,可以交给 GPT-Live。

事件建议处理
普通工具开始通常静默更新
高频工具进度聚合后按需提供
阶段性发现写入前台可用上下文
任务需要用户确认主动提示
严重执行错误及时反馈
Task 完成根据对话时机反馈最终结果
Cancel 确认明确告知实际停止状态
新前提推翻已说出的结论明确收回已说的话,并说明哪些仍然成立(见 1-3 第 5 节)

例如,Codex 完成通勤计算时,GPT-Live 正在回答用户另一个问题。

Runtime 可以立即记录结果,但没有必要立刻打断当前语音。

这说明:

后台事件的处理时间与用户接收反馈的时间,应当允许分离。

对于第一版系统:

  • 使用 session.thinking.append 提供后台任务状态和进度摘要。
  • 使用 session.commentary.append 提供适合向用户口头表达的重要信息。

官方明确区分这两类信息的语义。2

例如:

{
"type": "session.thinking.append",
"event_id": "progress_001",
"delegation_id": "item_example",
"content": "租房调研仍在执行,目前看可能浦东更合适,通勤时间尚未算完。"
}

需要注意,注入内容应当与真实执行状态一致,不应把未经验证的推测描述为确定结论。

Codex 可能产生大量执行事件。

如果每条事件都发送给 GPT-Live,会增加上下文噪声,并可能干扰实时对话。

因此,建议增加一个轻量的事件归纳过程:

Codex Raw Events
↓
Event Filtering
↓
Task State Update
↓
Progress Summarization
↓
GPT-Live Context

这里的 Summarization 不一定必须通过额外的 LLM 完成。

例如,工具执行状态、文件数量、测试通过与否等信息,可以直接从结构化事件生成简短摘要。

只有涉及复杂语义解释时,才考虑额外模型推理。

后到事件如何影响先前已经启动的推理和行动,2-3 异步执行、调度与任务控制 已经用同一个场景讲清楚:用户先要求调研上海租房、说公司在陆家嘴,再修正为张江,而旧工具调用仍在执行。结论是观察数据可以保留并按新前提解释,依赖旧前提的计划要重新验证,尚未执行的 Action 可以修改或取消,已执行的 Action 要检查副作用并在必要时修正。问题的根源是计算期间状态在变(见 1-2 第 1 节)。

这里只补充双脑系统需要的两点。

可以引入应用级 Task Revision:

{
"task_id": "task_001",
"revision": 2,
"goal": "上海租房调研",
"constraints": [
"公司在张江,不是陆家嘴"
],
"codex_thread_id": "thr_123",
"active_turn_id": "turn_456"
}

当用户修改目标时,Task Revision 增加。

执行结果可以关联其发起时的 Revision,从而帮助判断是否需要重新验证。

这是处理过时结果的一种做法:结果到达时检查前提版本。另外三种是:前提变了就取消;任务结束前冻结前提;交给模型判断。

但版本管理不能单独解决全部语义冲突。

例如,即使两个结果来自不同版本,它们也可能都是有效的测量数据。

因此,版本是一种辅助机制,最终仍需要结合操作类型和任务目标判断。

前台实时模型与后台 Coding Agent 的并发,不只是“两个模型同时运行”。

真正困难的是:

两个执行流产生的信息,如何在持续变化的任务目标下保持一致、可解释和可控制。

异步委派只解决了“不必等”,没有解决“结果还算不算数”(见 1-1 第 2.5 节)。

这也是 Interactive Coordination Layer 的核心价值之一。

11. Scheduling 在双脑系统中应该承担什么?

Section titled “11. Scheduling 在双脑系统中应该承担什么?”

2-3 异步执行、调度与任务控制 已经将 Interactive Scheduling 分为 Task、Intervention、Event 和 Feedback 四类。

现在可以进一步收敛。

因为 Codex 已经拥有内部执行机制,我们不需要替它决定每一次模型推理或工具调用的执行顺序。

我们需要解决的是交互层面的跨系统调度。

维度Interactive SchedulingCodex Internal Scheduling
调度对象用户请求、Task、控制请求、反馈事件Turn、Subagent、Tool Call
核心目标交互连续性和控制及时性任务执行效率和正确性
主要状态Conversation Focus、Task RegistryThread、Turn、执行上下文
主要操作Route、Query、Steer、Cancel、NotifyReason、Execute、Spawn、Observe
所属层次应用协调层Codex Runtime

我们应该尽量避免上层直接介入 Codex 的内部 Subagent 调度。

否则不仅增加系统复杂度,还可能与 Codex 原生执行策略发生冲突。

对于第一版原型,我认为不需要独立的通用 Task Scheduler。

如果暂时只允许一个活跃 Codex Task,那么很多调度决策都比较简单。

例如:

  • 用户即时对话优先处理。
  • 普通 Codex 进度异步归纳。
  • 取消请求及时路由。
  • Steering 必须绑定正确的活动 Turn。
  • 任务完成时更新状态并触发反馈。

这些可以通过事件处理、任务状态机和少量调度规则实现。

当系统逐步支持多个后台 Task、不同优先级和复杂任务依赖后,再考虑更完整的 Scheduler。

这样可以避免为了架构完整性而过度设计。

11.3 什么是真正需要优先处理的事件?

Section titled “11.3 什么是真正需要优先处理的事件?”

例如:

事件处理策略
用户打断 GPT-Live 语音优先在实时交互路径处理
用户明确取消后台任务尽快验证并发送控制请求
用户补充任务约束根据语义稳定性和任务状态处理
Codex 普通进度可以合并、延迟反馈
Codex 需要授权及时进入用户确认流程
Codex 最终结果立即更新状态,适时向用户呈现

这里的“优先”不是一定要求中断其他所有工作,而是要求各类事件具有符合其语义的响应策略。

特别是对执行器已经产生副作用的操作,实时调度只能降低响应延迟,不能消除安全退出与状态修正的成本。

研究到这里,我们需要避免另一个问题:把所有理想能力都放进第一版系统。

我建议采用一个相对明确、可验证的原型范围。

实现一个用户能够通过 GPT-Live 启动 Codex 任务,并在 Codex 工作期间继续对话、查询进度、补充要求和取消任务的系统。

当前可以先限定:

  • 一个 GPT-Live 实时 Session。
  • 一个活跃的用户级 Codex Task。
  • 一个对应的 Root Codex Thread。
  • Codex 内部允许自行使用工具和 Subagent。
  • 支持异步任务启动。
  • 支持运行中 Steering。
  • 支持 Interrupt。
  • 支持进度与最终结果反馈。

暂时不实现通用多任务调度、复杂跨任务依赖和自动补偿系统。

Voice Client
│
▼
GPT-Live Session
│
▼
Interactive Adapter
│
├── Intent / Control Resolution
├── Task Registry
├── Codex App Server Client
└── Feedback Handler
│
▼
Codex App Server
│
▼
Codex Runtime
│
▼
Tools / Files

这里的 Interactive Adapter 就是最小形态的 Coordination Layer。

它不一定需要消息队列、数据库或独立工作流引擎。

在本地原型中,可以先采用单进程异步事件循环与轻量持久化状态。

但对于可能重复执行的文件修改和工具操作,仍需要保留任务标识和真实执行状态。

阶段实现内容验证目标
P0GPT-Live → Codex Delegation能正确创建并启动任务
P1Codex Events → GPT-Live能持续观察和反馈进度
P2用户语音 → Codex Steering新约束能作用于正确 Turn
P3用户语音 → Interrupt能验证任务实际中断
P4Task State 与版本管理能处理迟到结果和状态变化
P5Session 恢复语音重连后仍能找到原任务

这样的推进方式有一个好处:

每个阶段都可以单独验证,而不必一开始就解决所有复杂问题。

场景 A:后台执行期间继续对话

用户启动 Codex 后提出一个无关即时问题。

验证 GPT-Live 是否能够及时回应,且 Codex 工作不被错误改变。

场景 B:运行中 Steering

用户先要求调研上海租房、说公司在陆家嘴,再修正为张江。

验证修正是否到达正确 Turn,以及后续执行是否按张江进行。

场景 C:取消竞争

用户在 Codex 即将完成时发出取消。

验证系统能否正确区分任务已经完成、正在取消或最终中断。

场景 D:迟到结果

工具调用在旧约束下启动,新约束到达后工具才返回。

验证系统是否能够根据最新 Task State 处理结果。

场景 E:任务引用歧义

用户说“把那个停掉”,但目标不明确。

验证系统是否要求澄清,而不是猜测后执行破坏性操作。

指标衡量的问题
Interaction LatencyGPT-Live 是否保持低延迟回应
Delegation Latency从用户请求到 Codex 开始执行的时间
Steering Acceptance LatencyCodex 接受新要求需要多久
Steering Effectiveness后续执行是否真正遵守新约束
Cancellation Latency实际停止执行需要多久
Task Resolution Accuracy用户意图是否关联到正确 Task
Feedback Timeliness重要事件是否在合适时间反馈
Task Success Rate持续交互是否影响任务完成质量

其中,Steering Effectiveness 比单纯测量 turn/steer 接口的返回时间更加重要。

因为控制请求被接受不等于实际目标已经改变。

本文虽然研究 GPT-Live + Codex,但目标是持续交互的能力(见 0-0 第 7.1 节),两个独立模型只是实现它的一种方式。统一以后,交互和推理分成两条流的需要仍然存在,只是从两个模型移进一个模型(见 3-0 第 4 节)。

因此,现在的设计应该允许未来逐渐替换模型能力,而不必重建全部任务和执行协议。

User / Environment
│
▼
GPT-Live
│
▼
Interactive Coordination
│
▼
Codex Runtime
│
▼
External Tools

GPT-Live 负责交互,Codex 负责长期复杂工作。

中间层弥合持续交互语义与离散执行控制之间的差异。

User / Environment
│
▼
Unified Full-Duplex Model
│
▼
Interactive Execution Runtime
│
▼
External Tools

当统一模型逐渐具备更强的复杂推理、持续状态维护和行动控制能力时,部分协调决策可以回到模型内部。

例如:

  • 自然语言任务引用理解。
  • 持续目标维护。
  • 推理过程中的新约束融合。
  • 交互与行动的联合决策。

但一些系统机制仍然需要保留:

  • 外部 Task 与 Action 身份。
  • 实际执行状态。
  • 权限和用户授权。
  • 事件关联与执行确认。
  • 外部副作用管理。
  • 持久化和恢复。

因此,统一模型的出现不意味着 Interactive Runtime 会消失。

它更可能改变模型与 Runtime 之间的职责边界。

13.3 当前架构应遵循什么演进原则?

Section titled “13.3 当前架构应遵循什么演进原则?”

我建议采用三个原则。

第一,面向用户级 Task,而不是直接暴露 Codex 内部身份。

用户不应该被要求理解 Thread 和 Turn 才能控制任务。

第二,应用级协议尽量使用通用的 Event、Action、Task、State 语义。

Codex 的 App Server 方法可以由 Adapter 负责映射。

例如:

TaskCancel
↓
Codex Adapter
↓
turn/interrupt

未来更换执行模型时,只需要替换对应的执行适配逻辑。

第三,不复制 Codex 已有的 Agent 执行机制。

我们要补的是交互与执行之间的协调能力,而不是重新实现一个 Coding Agent。

这一原则同样适用于未来更强的实时模型。

14.1 GPT-Live 应承担多少任务语义理解?

Section titled “14.1 GPT-Live 应承担多少任务语义理解?”

GPT-Live 擅长自然交互,但它并不原生掌握全部 Codex 执行状态。

因此,需要研究:

  • 是否通过任务摘要注入增强 GPT-Live 的上下文?
  • 是否需要独立的控制意图解析?
  • 如何判断用户新输入是否已经足够完整?
  • 如何处理实时转录错误?
  • 如何避免模型错误选择目标 Task?

这可能是第一版系统最重要的能力缺口。

14.2 Steering 是否足以支持实时干预?

Section titled “14.2 Steering 是否足以支持实时干预?”

Codex 的 Steering 允许向活动 Turn 追加输入。

但它不一定可以立即停止正在执行的外部工具,也不能自动回滚已经发生的副作用。

因此需要研究:

  • 什么情况下使用 Steering?
  • 什么情况下先 Interrupt 再重新规划?
  • 如何验证后续行为遵守新约束?

14.3 Conversation State 与 Codex State 如何保持一致?

Section titled “14.3 Conversation State 与 Codex State 如何保持一致?”

GPT-Live 与 Codex 维护不同的上下文。

如果长期对话中用户不断修改任务目标,可能出现:

  • GPT-Live 已经知道新要求。
  • Task Registry 已更新。
  • Codex 仍然按照旧目标推进。

Task Registry 已更新、Codex 仍按旧目标推进,这段延迟就是 2-1 第 4.1 节所说的“已接受”与“已生效”之间的空档;后台显式发出生效确认,就能识别它(见 7.2 节)。剩下的问题是:状态以谁为准。

14.4 是否需要支持多个后台 Task?

Section titled “14.4 是否需要支持多个后台 Task?”

第一版可以只允许一个活跃 Task。

但未来用户可能同时要求:

  • 重构一个模块。
  • 比较几家房产中介。
  • 后台执行测试。

这时系统需要处理任务并发、资源竞争、任务引用和跨任务依赖。

是否使用多个 Codex Thread,以及它们如何共享执行环境,应当在支持多任务时再进行专门设计。

14.5 GPT-Live 的交互策略应该由模型还是应用控制?

Section titled “14.5 GPT-Live 的交互策略应该由模型还是应用控制?”

例如,Codex 完成任务时,是否立即向用户播报?

模型可能更擅长判断自然的交互时机。

但权限确认、严重错误和紧急控制事件,可能需要应用保证及时处理。

这意味着系统可能需要一种模型语义策略与 Runtime 规则共同参与的交互调度机制。

本文研究了如何利用 GPT-Live 与 Codex,构建一个面向实时交互智能体的双脑过渡架构。

从理想系统出发,我们可以得到以下结论。

第一,两个独立模型是当前技术条件下的过渡做法;交互和推理分成两条流,则在统一以后仍然保留。

GPT-Live 承担持续、低延迟的实时交互,Codex 承担复杂推理与长期行动。

第二,GPT-Live 与 Codex 已经提供了大量可以直接复用的原生能力。

GPT-Live 提供全双工语音交互、Client Delegation 和后台信息注入。

Codex 提供 Thread、Turn、工具执行、Steering、Interrupt 及执行事件。

第三,系统真正需要新增的是 Interactive Coordination。

它将持续自然语言交互关联到具体后台任务,并协调控制请求、状态变化和反馈事件。

第四,Scheduling 只是交互协调的一部分。

更根本的是让用户的新输入能够正确影响已有任务,并确保控制操作具有明确的目标、执行时机和生效语义。

第五,任务身份与执行身份需要区分。

User Task、Codex Thread、Codex Turn 和 GPT-Live Delegation 分别具有不同的生命周期。

不应简单使用某一个标识替代全部概念。

第六,必须区分模型理解、控制请求和实际执行。

例如:

SteerRequested ≠ SteerApplied
CancelRequested ≠ TaskInterrupted
TaskCompleted ≠ ResultPresented

这些区别是构建可靠实时交互系统的重要基础。

第七,当前架构应该允许向未来统一模型演进。

当实时模型逐渐具备更强的复杂推理与持续行动能力时,部分协调功能可能回归模型内部。

但任务状态、权限、外部执行和操作确认仍然需要可靠的 Runtime 支撑。

因此,我们现在真正要构建的不是一个简单的 Voice Interface for Codex,而是:

一个以 GPT-Live 为实时交互入口、以 Codex 为后台执行能力、通过持续事件和任务控制实现自然人机协作的 Interactive Agent System。

它最终希望实现的体验是:

用户可以像与一位正在工作的同事交流一样,随时向 AI 提问、补充要求、改变目标、检查进度或停止工作,而不必等待完整的 Agent Turn 结束。

这正是从传统 Turn-Based Agent 向 Continuous Interactive Agent 演进的实际工程路径。

延伸阅读:Codex 开源实现66 OpenAI. Codex GitHub Repository — Codex Runtime 和相关开源实现。 、Interaction Models77 Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 、Temporal 工作流消息。88 Temporal Technologies. Workflow Message Passing — 运行中任务的 Signal、Update 和 Query 机制。

Footnotes
  1. OpenAI. Getting Started with GPT-Live — 实时模型和会话通信。 ↩

  2. OpenAI. Delegation and Tools in GPT-Live — Client Delegation、后台结果注入与任务状态协调。 ↩ ↩2 ↩3 ↩4 ↩5

  3. OpenAI. Managing GPT-Live Sessions — 实时会话与上下文管理。 ↩

  4. OpenAI. Live API Reference — 实时事件与协议对象定义。 ↩

  5. OpenAI. Codex App Server — Thread、Turn、Steering、Interrupt 与事件协议。 ↩ ↩2 ↩3

  6. OpenAI. Codex GitHub Repository — Codex Runtime 和相关开源实现。 ↩

  7. Thinking Machines Lab. Interaction Models — 持续感知、实时交互与异步后台协作。 ↩

  8. Temporal Technologies. Workflow Message Passing — 运行中任务的 Signal、Update 和 Query 机制。 ↩