Interactive Agent
从 Turn-Based Agent 走向实时交互智能体,分两个维度讨论:持续推理,新输入怎样影响进行中的推理;双流,实时交互和深度推理怎样分开又协作。然后比较三种架构,最后用 GPT-Live + Codex 给出一个过渡方案。
Interactive Agent
从 Turn-Based Agent 走向实时交互智能体,分两个维度讨论:持续推理,新输入怎样影响进行中的推理;双流,实时交互和深度推理怎样分开又协作。然后比较三种架构,最后用 GPT-Live + Codex 给出一个过渡方案。
- 从 Turn-Based Agent 到 Real-Time Interactive Agent从 Turn-Based Agent 出发,讨论实时交互智能体的运行范式、全双工能力与系统目标。
- 持续推理
- 持续推理:为什么、解决什么、引入什么持续推理这条线的入口:目标、问题、怎么做、模型要学什么、难点、边界,以及 1-1 到 1-4 各讲什么。
- 从 ReAct 到 Async ReAct,再到持续推理比较 ReAct、Async ReAct 与持续推理三种范式的执行机制、时间模型与推理状态,分析新信息跨越什么边界影响进行中的工作。
- 新输入怎么进入进行中的推理:重跑、Steer 与增量修正一次自回归推理进行中前提变了,计算层面有哪几种处理:重跑、Steer、增量修正,以及缩短计算这条对照路线;三种做法的前缀相同,差别在模型会不会修正。
- 全双工模型的联合建模:推理、状态与预算从全双工语音模型中 Speak 不必是独立 Action 出发,讨论深度推理如何与交互行为、认知状态、推理预算和输出的时机与内容联合建模,给出一个统一的建模目标。
- 持续推理的训练与评测持续推理需要什么训练数据、训练目标和评测指标:从固定问题到中途注入新输入的动态问题,一个对照实验方案,一组指标,以及还没有答案的问题。
- 双流
- 双流:为什么、解决什么、引入什么双流这条线的入口:为什么把实时交互和深度推理分成两条流,分流解决了什么,又引入了什么新问题,以及 2-1 到 2-3 和 3-1 各讲什么。
- 双流:实时交互与深度推理的分流实时交互与深度推理为什么分成两条流,分流解决什么、引入什么问题,两条流如何耦合,以及持续推理能替双流省掉哪些协调成本。
- 实时交互系统架构与协议:从 Turn-Centric 到 Event-Driven Interactive Runtime实时交互系统的逻辑架构与协议设计,讨论持续交互、事件、行动、任务、状态与可靠执行。
- 异步执行、调度与任务控制:实时交互系统的运行时机制实时交互系统的异步执行、调度、运行中任务控制、状态一致性与失败恢复机制。
- 架构方案
- 三种架构:单一序列、共享模型双流与帧间隐向量比较把深度推理放进全双工模型的三种架构:单一自回归序列、共享模型的双推理流、按时间对齐的序列加帧间隐向量;快速离散推理和两个独立模型是它们的退化情况。
- GPT-Live + Codex:面向实时交互智能体的双脑过渡架构利用 GPT-Live 与 Codex 构建实时交互智能体,设计任务关联、运行中控制、事件反馈与演进路径。