跳转到内容

Interactive Agent2-0 · 双流

双流:为什么、解决什么、引入什么

双流这条线的入口:为什么把实时交互和深度推理分成两条流,分流解决了什么,又引入了什么新问题,以及 2-1 到 2-3 和 3-1 各讲什么。

更新于 阅读约 4 分钟

这一页只回答三个问题:为什么引入双流,它解决什么,它引入什么。每一条都指向 2-1、2-2、2-3 里展开的那一节,这里不出新论点。

双流(Dual-Stream)指的是:把实时交互和深度推理分成两条逻辑上独立推进的流,交互流(Interaction Stream)持续理解输入并负责实时表达,推理流(Reasoning Stream)执行耗时较长的推理。两条流可以共享模型参数,也可以是两个模型。它只关心交互和推理要不要分开这一个轴;推理本身是离散调用还是持续进行,是另一个轴,见 1-0 持续推理。

全系列用同一个例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

  • 任务难度的分布。 深度推理的计算量随问题难度增长,硬件再快,也总有一类任务的推理时间远超交互节奏。推理还在跑时,需要有东西先回应用户。这个需求来自任务难度,与推理速度无关。见 2-1 第 1 节、2-1 第 8.1 节。
  • 单序列的串行竞争。 把输入、语音和推理放在一条自回归序列里,说话和推理只能轮流来:说话时推理暂停,正在写一段很长的推理时,中间插不进语音。见 3-0 第 3 节。

所以分流的理由不是”模型不够强”。**模型参数统一,并不自动意味着推理执行能够并发。**见 2-1 第 1.2 节。

  • 推理期间的交互响应。 即使后台推理按离散调用运行,只要前台持续响应,用户就能得到连续的交互体验;深度推理不再占据交互输出的整个时间线。见 2-1 第 2.1 节、3-0 第 4 节。
  • 阶段性结论可以提前说。 用户问”目前看哪个区靠谱”,交互流不必等全部推理结束,可以用已经有依据的阶段性结果回答。见 2-1 第 4.1 节。
  • 用户输入不被推理阻塞。 新输入先由交互流接住,再决定要不要、什么时候转给推理流。见 2-1 第 3 节、2-1 第 8.2 节。

这些只是交互轴上的收益。双流不让新输入更早进入正在跑的推理,那是持续推理要解决的事。

两条流各自推进之后,它们的执行进度、状态和结果消费不再同步。引入的问题分两层。

  • 传统异步并发的六个维度。 见 2-1 第 6 节。

    • 执行控制(抢占、Steer、恢复、重启)
    • 调度(两条流抢同一张 GPU)
    • 通信(什么时候发、顺序、送达、背压)
    • 状态(谁拥有权威状态、读快照还是共享状态)
    • 生命周期(孤儿执行、取消竞态、重复执行、恢复)
    • 一致性(过期结果怎么处理)。
  • 双流特有的两个。 见 2-1 第 6.9 节。

    • 认知一致性:交互流已经对用户确认按张江来看,推理流仍然按陆家嘴计算,版本和顺序都对也挡不住;
    • 推理进度保留:新约束到达后,哪些推理还能继续用。

落到具体机制上,有三件事是单流没有的:约束生效的确认(交互流说”好的,张江”只是接受,推理流开始按张江计算才算生效),旧结果晚到(改口前算出的结果在改口后才送到交互流),以及同步时机(输入经交互流转发还是同时交给两条流)。见 2-1 第 4.1 节、3-0 第 4 节、2-1 第 8.2 节。

系统层怎么承接这些问题,是 2-2 和 2-3 的内容:事件、行动、任务、状态五类对象和协议在 2-2,异步执行、调度、运行中控制、一致性与恢复在 2-3。

编号文档讲什么
2-1双流:实时交互与深度推理的分流分流本身:为什么分、两条流怎么耦合、共享模型的双序列方案、引入的问题、持续推理能替它省掉什么
2-2实时交互系统架构与协议系统层:Session、Event、Action、Task、State 与事件驱动的协议
2-3异步执行、调度与任务控制运行时:异步执行、调度、运行中控制、一致性与失败恢复
3-0三种架构两个轴的组合:方案 A、B、C1 的比较,方案 B 的序列形式在这里
3-1GPT-Live + Codex:双脑过渡架构过渡实现:用两个模型做”双流 + 离散推理”这一格

双流和持续推理是两个独立的轴,0-0 第 7 节的 2×2 表把四种组合都列了出来。双流引入的问题里,只有一条和持续推理相接:推理流怎么吸收交互流转来的新约束。持续推理是候选解之一,能缩短同步延迟、减少重启、缩短两条流认知分歧的时间;调度、生命周期、消息顺序这些仍然要靠 Runtime。见 2-1 第 7 节。