Quanta

← 返回 Quanta 简报

多语言客服工单选哪个模型?七步找出适合团队的答案

旗舰模型ZH234 次阅读

多语言客服选型,不应只问哪个模型翻译最流畅,而应追问:它能否听懂客户的问题、引用正确政策,并给出可执行的下一步?本篇不预设统一冠军,而是带你建立一套可复用的比较流程。最终要选出的,是适合自身语言组合、工单风险和持续负载的模型。

01 · 第一步:把“处理得好”拆成验收条件

先限定任务范围:自动分类、辅助起草,还是直接回复客户?建议首次评测聚焦辅助起草,由人工决定是否发送。将验收条件写成清单:识别诉求、保留订单信息、正确引用政策、使用指定语言,以及在证据不足时请求补充信息。语言自然不能抵消业务错误。擅自承诺退款、编造处理进度等问题,应单独列为不通过项。

02 · 第二步:用真实语言分布建立测试集

从已结案工单中抽样,先脱敏,再按语言、问题类型和复杂程度分组。保留错别字、口语缩写、跨语言混写和多轮追问,不要把所有样本都整理成标准书面语。另留一批未参与提示词调整的工单,作为最终验收集。

  • › 高频语言:检查常见咨询是否稳定完成。
  • › 低频语言:单独检查理解偏差和遗漏。
  • › 高风险问题:覆盖账户恢复、付款争议和政策例外。

03 · 第三步:固定知识材料,再比较候选模型

让候选模型读取相同的工单、知识库片段和回复规范,并记录版本、输出长度限制及推理设置。可将 Claude Haiku 4.5 纳入候选,但不要把公开成绩当作客服胜率:其官方多语言评测采用翻译后的知识问答题,并非你的实际工单。

在系统指令中明确目标语言、地区表达和禁止事项,例如“不推断未提供的退款资格”。官方文档也建议显式指定回复语言。 统一基线之后,再分别优化提示词,并保留两轮结果,避免把提示词差异误当作模型差异。

04 · 第四步:让母语审核者盲评业务正确性

隐藏模型名称,随机排列回复,请熟悉业务的母语审核者逐项评分。建议分别记录诉求理解、事实依据、操作可执行性、语言自然度和政策遵守情况。对有分歧的样本复核原始工单与知识材料,不要仅凭“读起来更礼貌”决定胜负。

同时记录人工修改内容:是替换称呼,还是重写处理方案?两者都算修改,但对实际工作量的意义不同。将严重业务错误与一般措辞问题分开汇总。

05 · 第五步:按语言核算每张合格工单成本

不要只比较单次调用费用。建议用测试期间的调用、重试和人工复核总成本,除以最终合格工单数,同时报告首次通过率、转人工率和响应耗时。不同语言分别计算,再按真实工单占比汇总,避免高频语言掩盖小语种问题。

持续对比时,可使用 Quanta 的按量接口中转服务,以同一余额管理多个候选模型。核算时按实际词元用量记录费用,并分开统计缓存写入与缓存读取;不要默认每次都能命中缓存。可开通一个 Quanta 账户,先运行脱敏测试集,再决定是否接入生产流程。

06 · 第六步:按实测结果配置分层处理

如果没有单个模型在全部语言上领先,就按语言和风险配置处理路径:让达到验收标准且成本较低的模型处理常规咨询,将缺少证据、涉及政策例外或连续失败的工单转交人工。只有评测支持时,才增加第二个模型复核。不要仅凭模型自报的信心决定自动发送。

07 · 第七步:灰度上线,并保留回退条件

先让模型生成草稿,与人工处理并行观察,再逐步扩大自动化范围。上线前写明暂停条件:出现严重政策错误、某种语言质量下降,或成本超出预算时,立即切回人工流程。模型版本、知识库或提示词变化后,重新运行固定验收集。

适合多语言工单的最佳模型,是在你的语言切片中通过业务验收、保持可接受时延,并降低每张合格工单总成本的模型。按这七步留下证据,选型才能从印象比较变成可持续维护的工程决策。