跳转到内容

Interactive Agent1-1 · 持续推理

从 ReAct 到 Async ReAct,再到持续推理

比较 ReAct、Async ReAct 与持续推理三种范式的执行机制、时间模型与推理状态,分析新信息跨越什么边界影响进行中的工作。

更新于 阅读约 11 分钟

ReAct、Async ReAct 和持续推理三种范式里,新输入各能跨过什么边界。单独写一篇,是因为”持续推理”常被和异步工具、流式交互混在一起;不先把边界分清,后面讲的做法和难点都没有落点。读完能说出:Async ReAct 解的是工具等待,持续推理要跨的是模型调用这条边界。

需要说明的是,持续推理(Continuous Reasoning)是本系列用来描述一种运行方式的词:深度推理也按全双工方式运行,输入不冻结。它不是已经标准化的模型架构名称。

全文沿用系列的例子:用户要求调研在上海租房住哪个区合适,说公司在陆家嘴;推理进行到一半,用户改口说公司在张江。

1. ReAct:推理、行动与观察的闭环

Section titled “1. ReAct:推理、行动与观察的闭环”

ReAct 最早由 Yao 等人提出,其核心是让语言模型交替进行推理(Reasoning)与行动(Acting),并利用外部环境的观察结果(Observation)更新后续决策。11 Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。

一个典型的 ReAct 执行流程:

The ReAct loop: reasoning decides an action, the environment returns an observation, reasoning continues

写成伪代码:

def react_loop(request):
context = [request]
while True:
step = model.generate(context) # Reasoning
if step.final_answer:
return step.final_answer
observation = run_tool(step.action) # Action:同步等待工具返回
context += [step, observation] # Observation 进入下一轮推理

model.generate 和 run_tool 各是一次阻塞调用。在这两处等待期间,循环不看任何新输入。

例如,用户要求 Agent 调研在上海租房住哪个区合适。

模型先查各区的租金,然后调用地图工具计算通勤时间,观察结果,再进一步缩小范围。

ReAct 的价值在于建立了一个闭环:

Reasoning 决定 Action,Observation 改变 Reasoning。

因此,ReAct 本身并不要求输入只能来自工具,也不要求 Agent 必须等到整个任务完成后才能处理用户消息。

这些限制更多来自实际 Agent Runtime 的执行方式。

以常见 Coding Agent 为例,一次用户请求会启动一个 Agent Turn。

在 Turn 内部,模型多次推理、调用工具并处理结果。

A turn-based ReAct implementation: several model calls inside one agent turn; the model-inference boundary and the agent-turn boundary are different edges

这里有两个不同的执行边界。

Model Inference Boundary

一次模型调用从开始生成到结束。

Agent Turn Boundary

一次完整 Agent 工作轮次的起点和终点,内部可以包含多次模型调用。

这两个边界不应该混淆。

一个 Agent 可以在同一个 Turn 内多次调用 LLM,但不代表新的用户输入能够在某次 LLM 推理尚未完成时被立即处理。

从实时交互角度看,存在两类不同的等待。

第一类:Tool Waiting

模型调用工具后,需要等待工具结果,才能推进依赖它的后续推理。

第二类:Inference Waiting

一次模型推理已经开始,新输入到达时,系统可能需要等待当前模型生成结束,或者主动中断并重新发起推理。

这两类等待处于不同层次。

前者属于 Agent Runtime 的执行组织问题。

后者涉及模型推理接口、推理状态以及 Inference Runtime 的计算机制。

理解这一区别,是分析 Async ReAct 与持续推理的关键。

2. Async ReAct:将工具执行与 Agent Loop 解耦

Section titled “2. Async ReAct:将工具执行与 Agent Loop 解耦”

Async ReAct 并不改变 Reason–Act–Observe 的基本思想。

它主要改变的是 Action 的执行方式。

上面一条是传统的同步等待式执行,下面一条是 Async ReAct:

Sync ReAct waits for the tool before the next reasoning step; Async ReAct starts the tool, keeps the loop running, and takes the result later as an event

区别在于:耗时工具调用不再必然占用 Agent 主循环的整个执行周期。

一种简单实现是:

async def agent_loop():
while True:
events = await receive_available_events()
context = update_context(context, events)
response = await model.generate(context)
if response.tool_call:
start_tool_in_background(response.tool_call)
else:
handle_response(response)

这里只是概念代码。实际系统还需要维护多个未完成的工具调用、结果关联、任务取消和资源限制。

例如,Agent 发起代码测试之后,可以在等待测试时继续处理用户追加的要求。

当测试结束,Runtime 将其结果作为新的 Observation 传给 Agent。

主要有三方面。

  • 执行解耦:工具执行与 Agent 主循环不必严格同步。
  • 并发推进:多个外部操作可以在条件允许时同时进行。
  • 事件驱动:工具结果可以在完成后异步返回,由 Agent 在后续推理中使用。

但最重要的是:

Async ReAct 让 Agent 在工具运行期间继续工作,并不代表模型可以在一次推理计算内部随时吸收新的用户输入。

2.4 Async ReAct 仍然可能是 Turn-Based

Section titled “2.4 Async ReAct 仍然可能是 Turn-Based”

例如:

Async ReAct timeline: the tool runs in the background, but a user input arriving during a model call still waits for the next call

虽然 Tool A 已经异步运行,模型调用 Reason A 仍然可能是一次具有固定输入上下文的自回归生成。

如果 B 在 Reason A 进行期间到达,它可能被排队,直到下一次模型调用才进入推理上下文。

也可以通过 Interrupt 停止 Reason A,然后基于 B 重新构造推理输入。

因此:

Async ReAct 改变了工具等待方式,但不一定改变 Model Inference Boundary。

Async ReAct 只改了 run_tool 那一行。它没有改的地方,就是它的限制。

  • 推理边界没变。 model.generate 仍然是一次有固定输入的阻塞调用。新输入只能在下一次调用进入上下文,或者打断当前调用重来。
  • 只有一个循环。 对话回应和工具事件走同一个 agent_loop。一次很长的推理步在跑时,循环既不回应用户,也不处理已经返回的工具结果。
  • 异步只解决“不必等”,不解决“结果还算不算数”。 工具结果作为事件回来时,任务前提可能已经被用户改过。根源是工具运行期间状态在变,这一点和推理过程中的新输入是同一个问题,见 1-2 第 1 节。结果是否仍然有效、该不该重新推理、由谁判断,Async ReAct 没有答案;这需要显式的任务状态和版本,见 2-3 异步执行、调度与任务控制。
  • 每个事件都进上下文。 启动回执、工具结果、进度都作为消息投递进会话,上下文随之膨胀。哪些事件该进模型、哪些只更新状态、什么时候告诉用户,需要另外的调度。
  • 模型本身没有变化。 这是 Harness 层的改造,模型仍按离散调用工作。下一节要跨过的,正是这条边界。

3. 持续推理:进一步改变推理本身

Section titled “3. 持续推理:进一步改变推理本身”

Async ReAct 已经解决了一部分系统阻塞问题,但模型推理通常仍然由离散调用组成。

持续推理希望进一步改变这一点:

当模型正在进行复杂推理时,新的用户输入仍然能够持续到达,并及时影响尚未完成的推理。

假设用户最初说:

帮我调研一下在上海租房住哪个区合适,公司在陆家嘴。

模型开始推理 A。

在推理进行期间,用户又说:

刚才说错了,公司在张江。

理想情况下,系统应该能够:

  1. 持续接收用户音频,不必等待原有推理结束。
  2. 理解公司位置发生了修正。
  3. 判断原有推理哪些部分仍然有效。
  4. 调整受影响的分析。
  5. 继续推理并在适当时机回应。

这里不需要显式创建一个新 Task,也不必先将用户输入分类成固定的 UPDATE_TASK 指令。

新信息可以直接影响模型持续维护的认知状态。

交互与推理分成两条逻辑流的做法,见 2-1 第 3 节。两者并非主要区别在是否有多条流,而在于新信息能够跨越什么计算边界。

Async ReAct 通常允许新信息在下一次模型调用中被使用。

持续推理则希望新输入能在当前复杂认知工作尚未结束时,以更细粒度、更低开销的方式影响后续推理。

它不要求修改正在执行的单次 Transformer Forward Pass,但可能要求在 Token、Chunk 或推理检查点之间更新状态。

这就从 Agent Harness 的异步机制,进入了模型与 Inference Runtime 的协同设计。

用三条式子写出三种运行方式的差别。xtx_t 是第 tt 帧的用户输入,yty_t 是模型说的话,rkr_k 是第 kk 个推理 Token;一步是一次前向计算,往序列里写一个位置。

全双工语音模型

yt=f(x≤t, y<t)y_t = f(x_{\le t},\ y_{<t})

每帧算一步,这一步在 xt+1x_{t+1} 到来之前结束。两次输入之间只有一步。

离散调用的深度推理

rk=f(x≤T, r<k),k=1,…,Kr_k = f(x_{\le T},\ r_{<k}),\quad k = 1,\dots,K

输入在时刻 TT 冻结。KK 步推理期间到的 xT+1,xT+2,…x_{T+1}, x_{T+2}, \dots 不在式子里。KK 步跑完才能看到它们,那时只能接受结果或者重跑 KK 步。

持续推理

rk=f(x≤t(k), r<k)r_k = f(x_{\le t(k)},\ r_{<k})

t(k)t(k) 是算第 kk 步时的当前时刻。输入不冻结,每一步都看到最新的输入。

两次输入之间算几步推理步看到的输入
全双工语音模型1 步最新的
离散调用的深度推理KK 步冻结在 TT
持续推理KtK_t 步,可以很多最新的

语音模型和持续推理的式子形状一样,都看最新输入:持续推理就是把深度推理也放进全双工这种运行方式里。差别只在两次输入之间算几步。语音模型每帧一步,输入变了下一步直接跟着变,没有什么要保护的。持续推理在两次输入之间算了很多步,xx 在第 kk 步变了,r<kr_{<k} 是按旧输入算的。r<kr_{<k} 哪些还算数、模型从第 kk 步往后怎么接着写,是 1-2 的内容。

维度ReActAsync ReAct持续推理
决策模式Reason–Act–ObserveReason–Act–Observe持续感知、状态更新与推理
工具执行典型实现中同步等待可以异步执行可以异步执行
用户输入通常在 Turn 边界进入可以在工具运行期间处理目标是持续进入认知过程
模型推理离散调用仍可为离散调用支持更细粒度的持续调整
执行并发取决于 Runtime主要由 Harness 实现涉及模型与推理 Runtime
新信息处理下一 Turn 或特定控制点下一可处理边界更及时地更新后续推理
推理状态复用依靠上下文与已有缓存依靠上下文与已有缓存前缀同样只追加;差别在模型能否在旧推理上只修正受影响部分
主要挑战工具等待和交互边界事件协调和状态管理持续认知、状态有效性、计算调度

同一个输入 B 在同一时刻到达,三种范式下它要等的边界不同:

ReAct, Async ReAct and continuous full-duplex reasoning on one scenario: where input B can enter

这里需要避免两个误解。

首先,ReAct、Async ReAct 和持续推理并不是严格互斥的三种算法。

ReAct 是推理与行动的决策范式;Async ReAct 是它的一类执行方式;持续推理描述的是更强的持续认知能力。

其次,持续推理并不要求模型一定只有一个推理流,也不要求完全取消离散计算步骤。

它关注的是持续输入与长时间推理如何有效协同。

5. 我们应该如何理解未来的演进?

Section titled “5. 我们应该如何理解未来的演进?”

从 ReAct 到 Async ReAct,再到持续推理,可以看作逐步减少不同类型的执行等待与认知边界。

ReAct:推理与行动交替,利用观察结果更新决策。

Async ReAct:外部行动可以异步推进,不必阻塞 Agent 主循环。

持续推理:持续输入能够更加及时、细粒度地影响正在进行的认知计算。

这是能力演进关系,不表示三者必须依次替代,也不表示后者已经完全实现。

一个值得强调的判断是:未来的实时交互智能体并不需要抛弃 ReAct。

Reasoning、Acting 和 Observation 仍然是完成复杂任务所必需的基本能力。

真正需要改变的是它们的执行方式:

从一个相对封闭的 Agent Turn,逐渐转向一个能够持续接收用户输入、外部观察并调整行为的开放式认知与行动循环。

本文比较了 ReAct、Async ReAct 和持续推理。

三者最重要的区别并不是是否调用工具,也不是是否具有多个执行线程,而是新的信息可以在什么时间、跨越什么边界影响正在进行的工作。

ReAct 建立了 Reason–Act–Observe 的闭环。

Async ReAct 通过异步执行减少工具等待对 Agent Loop 的阻塞。

持续推理则进一步希望消除传统模型推理调用所形成的部分认知边界,让持续输入能够更及时地影响尚未完成的推理。

因此,可以用三个问题概括它们:

  • ReAct:模型如何根据行动结果继续思考?
  • Async ReAct:模型如何在外部行动尚未完成时继续工作?
  • 持续推理:模型如何在自己尚未思考完成时,仍然感知并吸收新信息?

其中第三个问题将研究焦点从 Agent Harness 推向模型和 Inference Runtime 本身。

我认为,这也是未来真正的 Full-Duplex Interactive Agent 与传统 Turn-Based Agent 在技术层面最值得研究的差异。

它不要求所有推理永不停顿,也不保证每项旧计算都可以复用。

它追求的是:

在保证推理正确性的前提下,让持续交互与复杂认知能够独立推进、相互影响,并以更低的延迟和计算成本完成协调。

延伸阅读:DeepSeek 的 Super-agent 原型实现。22 DeepSeek. dsh-superagent-prototype. Super-agent 原型代码。

Footnotes
  1. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. 推理与行动闭环。 ↩

  2. DeepSeek. dsh-superagent-prototype. Super-agent 原型代码。 ↩