切换模型前，用自己的数据跑一轮可复查的评测

团队手册ZH2026-10-25235 次阅读

01 · 第一步：把切换理由变成验收条件

先写清当前模型的问题：费用过高、响应太慢，还是复杂任务经常返工？再确定候选模型必须达到的质量底线、延迟上限与成本目标。先定规则再看结果，避免被几条漂亮回答带偏。

选取日常任务，也保留长上下文、工具调用和历史失败案例。按实际业务占比分组，移除敏感信息，并保留必要上下文。将调试样本与最终验收样本分开，避免反复修改提示词后只适应了熟题。

把严重错误单独列为淘汰条件。总分相近，也可能掩盖关键任务上的差距。

让当前模型与候选模型使用相同输入、工具权限和输出要求，记录参数、模型标识与测试时间。通过宽塔统一接入多个模型，可以减少切换接口的准备工作。关键样本重复运行，交错请求顺序，观察结果波动；人工评分时隐藏模型来源。

记录输入、输出、缓存写入与缓存读取词元，并计入重试和纠错。宽塔按实际词元用量计费，缓存写入和读取分别计价，适合逐项对账。分别测试冷缓存与热缓存，不要把偶然命中当成稳定节省。用总费用除以验收合格的任务数，比较每次成功交付的成本。

除了平均耗时，还要看首段响应、完整完成时间及较慢请求的表现。按任务类型汇总超时、格式错误和返工原因，确认候选模型在哪些场景值得切换，哪些场景仍需保留原模型。

先分配少量真实流量，设置回退条件，再逐步扩大范围。保存测试集版本、评分依据和费用记录，方便后续复测。准备开始时，可以开通宽塔账户，用同一余额完成多模型对照，并以自己的验收结果决定切换范围。