Quanta

← 返回 Quanta 简报

三道上线闸门:高负载团队的多语言工单模型实测

团队手册ZH46 次阅读

多语言支持队列最难的,不是把一句话翻译准确,而是在缩写、错别字、情绪表达和上下文缺失中,判断客户遇到了什么问题,以及团队有权采取什么行动。对持续处理大量工单的负责人而言,模型选型应回答一个具体问题:它能否减少有效处理时间,同时不增加错误承诺和返工?下面是一套真实队列测试方案,不是未经验证的模型排名。

01 · 第一道闸门:从真实队列建立可复核样本

不要只挑表达完整、容易回答的工单。按语言、问题类型、风险等级和对话长度分层抽样,覆盖退款争议、登录失败、账单解释,以及一句话夹杂多种语言的情况。低流量语言也要单独保留,避免它们的失败被主流语言的平均分掩盖。

导出前应脱敏姓名、联系方式、凭证与支付信息,并确认数据处理权限。训练提示、调整流程和最终验收要使用不同样本;同一客户、同一事件或同一对话线程不能跨组泄漏。涉及历史知识时,只提供当时已经存在的政策,避免模型借助后来的信息答对。

  • › 判断任务:识别语言、意图、紧急程度和应转交的队列。
  • › 生成任务:依据知识库起草回复,保留金额、日期、产品名称与限制条件。
  • › 边界任务:信息不足时追问;涉及权限、退款或安全事件时请求人工处理。

02 · 让双语复核覆盖事实,而不只检查语气

候选模型应接受相同的工单、政策片段和输出要求。由熟悉业务的双语审核者盲评,争议样本再复核。不要把某个参考答案当作唯一正确措辞,也不要只让另一个模型决定胜负。

评分至少拆成意图识别、事实正确、政策遵循、语言可用和接管判断。特别检查否定、币种、时区、礼貌程度,以及客户是否真的授权操作。把工单正文视为不可信输入:客户写下的“忽略规则”不能改变系统权限。语言流畅不等于业务正确。

03 · 第二道闸门:影子运行测出峰值与接管负担

通过离线测试后,让模型读取实时工单并生成建议,但暂不向客户发送,也不执行账户操作。记录排队时间、首段响应时间、完整生成时间、超时、重试和人工修改情况。高负载测试应保留真实到达节奏,而不是只做均匀请求。

负责人需要同时看整体和分组结果:某种语言是否更常转人工,长对话是否更容易超时,低风险问题是否被过度升级。人工接管率不能越低越好;该接管却继续作答,往往比主动升级更危险。

04 · 把预算从单次调用改成每张有效解决工单

核算输入、输出、检索上下文、重试和人工复核成本;缓存写入与缓存读取要分别计算。共享政策前缀可能适合缓存,但客户专属信息不能为了命中率而混入可复用内容。最终比较的是每张有效解决工单的成本,而不是一次看起来便宜的生成。

需要持续比较多个候选模型时,可考虑使用 Quanta:按量付费、统一余额,便于把调用消耗放进同一预算视图。其调用按实际词元计量,缓存写入和读取分别计价;团队仍应统一测试参数,并按语言、任务和模型保留明细。你可以在 Quanta 开设账户,从脱敏评测队列开始验证适配性。

05 · 第三道闸门:按语言与风险逐步放量

先开放低风险、知识边界明确的任务,再逐步扩大范围。复杂退款、安全事件和政策例外继续由人工审批。可以让较轻的模型承担分类与信息提取,把需要复杂判断的工单交给能力更强的候选模型,但路由本身也必须测试。

上线前写清各语言的质量门槛、延迟预算、成本上限与回退条件,不能只设一个总分。保留一键切回人工或原流程的能力,并持续抽查已解决工单是否重新打开。真正的验收标准,是队列变得更可控,而不只是回复生成得更快。