Quanta

← 返回 Quanta 简报

高负载团队的六轮工具循环:限深、留痕与安全停机

团队手册ZH6 次阅读

任务量持续增长时,工具循环的风险不只是模型答错,而是一次未完成的查询引发反复检索、重试和写入。团队需要把“继续尝试”变成有边界的执行协议。下面以每项任务最多六轮工具调用为示例,走通从预算设置到故障恢复的流程;六轮是示例配置,不是通用最优值。

01 · 第一步:把六轮上限写进调度器

先定义一轮:模型提出工具调用,调度器执行获准操作,再把结果交回模型。六轮耗尽后,只允许生成收尾说明,不再执行工具。限制必须由调度器强制执行,不能只写在提示词里。多个并行工具可以属于同一轮,但每次执行仍须单独计数,避免用并行调用绕过限制。

02 · 第二步:同时限制调用次数、时间和费用

深度只约束循环长度,不能约束单轮成本。为每项任务另设工具执行次数、累计用量、截止时间和费用预算,任一条件触发就停止派发。子任务必须继承父任务的剩余预算,不能重新领取完整额度。并发场景应先预留预算,再发请求,防止多个分支同时透支。

03 · 第三步:在执行前写下调用意图

每次工具调用都生成独立记录,关联任务编号、父步骤编号和当前轮次。执行前先保存意图,完成后补充结果,便于区分“未执行”与“执行后响应丢失”。日志不需要模型的内部思考,只需记录可核验的操作与简短依据。

  • › 执行前:工具名称、脱敏参数、参数摘要、权限检查结果和预算余量。
  • › 执行后:开始与结束时间、结果状态、输出摘要、错误类别和实际用量。
  • › 关联信息:请求标识、重试序号,以及写入操作使用的幂等标识。

04 · 第四步:把重复尝试变成明确分支

为工具名称和规范化参数计算摘要。若相同调用已经成功,优先复用仍有效的结果;若连续失败,则按错误类型处理。权限不足应转人工,参数错误应修正,暂时性故障才适合有限重试。所有重试都消耗预算,不能另开一个不受限制的循环。

05 · 第五步:让写入操作具备恢复边界

读取失败通常可以重试,付款、发布和删除却可能产生重复副作用。对写入操作使用幂等标识,并在超时后先查询执行状态,而不是立即重发。高影响操作保留人工确认。日志中的凭证、个人信息和敏感正文应脱敏,并设置访问权限与保留期限。

06 · 第六步:把模型用量接入同一份账本

重负载团队可以考虑通过 Quanta 集中管理多模型调用,以统一余额减少分散核算。平台按实际词元用量计费,缓存写入与缓存读取分别计价,因此账本也应分项记录,不能把缓存命中理解为免费。欢迎开设账户,先用一类低风险任务验证预算告警与日志对账,再扩大使用范围。

07 · 第七步:用停机演练决定是否扩大流量

上线前主动制造工具超时、重复响应、预算耗尽和进程重启,检查任务是否停在正确边界。停止时输出已完成步骤、未完成事项、停止原因和恢复所需条件,不得把部分完成包装成成功。灰度期间观察平均轮次、触顶比例、重复调用和单位任务费用;确认这些指标可解释,再逐步放量。