每天 800 万 token 的团队：16 KB 缓冲区切断流式响应的排查

01 · 16 KB 缓冲区是切断流式响应的第一现场

在持续承载大批量推理的团队里，流式输出最常见的故障不是模型报错，而是代理层一次看似无害的缓存。反向代理默认会把上游字节聚合成更大的块再转发，当它把服务端事件流按 16 KB 之类的固定窗口合并时，前端看到的就是断句、整块跳跃，以及长回答末尾悬空的未完成事件。

这类问题有明确的判别特征：同样的请求绕过中间层时输出连续，一旦经过代理就开始被截断；短回答往往正常，超过数千 token 的长回答必现。因为它不是生成质量问题，而是缓冲策略与事件边界不匹配。排查时先做一件事：把同一长提示分别走直连与走代理，对比两路的帧到达时间序列，如果代理侧出现成块的突发到达，就可以锁定缓冲行为。另一个廉价的判据是观察首帧时间与后续帧间隔：缓冲开启时首帧被拖到一整块凑齐之后才出现，且后续帧呈现规则的块状节奏，而正常流的帧间隔跟随模型的生成节奏自然波动。

02 · 三处必须改的转发开关：缓冲、压缩与填充

• › 关闭上游响应缓冲：让每个事件即时写入下游连接，而不是等缓冲区填满才一次性发出，这是消除尾部截断的关键。
• › 保持分块传输原样：不要在代理层做内容长度重算或压缩改写，否则事件帧会被重新打包，客户端的解析边界全部错位。
• › 让流式接口跳过一切响应缓存：任何带缓存键的边缘节点都可能把半截响应当成完整响应复用。

还有一类隐蔽问题：部分代理为了防止链路空闲，会向响应体注入注释或心跳填充。严格的事件流解析器遇到插入内容会直接抛错，表现为流中途异常结束。确认中间层不改动响应体，是打通链路之后的第二道检查。

第三道检查落在压缩层。若代理对流式响应启用通用压缩，字节会被重排、事件边界会跨块，客户端看到的是一串无法解析的碎帧。要么对流式接口整体禁用压缩，要么确保压缩器按帧边界处理。把这三处开关连同它们的默认值写进团队的基线配置模板，新环境上线时统一校验，可避免每次扩容都重新发现同类问题。

03 · 超时、心跳与重试的时间账必须算在一起

第二类中断来自计时器叠加：空闲超时、首字节超时与总请求超时往往由不同组件分别设置。当模型在推理阶段长时间不产出可见增量，例如长上下文预填充或深推理，空闲计时器会先触发，代理随即切断连接，客户端只拿到半个答案。

• › 空闲超时要覆盖最长停顿：按最慢的模型与最长的上下文来定，而不是按平均时延。
• › 心跳由上游提供：让链路在思考阶段保持活跃，比让代理自己插入填充更安全。
• › 重试只允许覆盖尚未开始输出的请求：流已经开始后再重放，会把已生成的增量重复计费并污染上下文。

团队最容易忽略的是总超时与空闲超时的先后关系：如果总超时更短，前面的所有调优都会失效。把这三档计时器写进同一张表并由发布流程校验，能避免每次扩容后重复踩坑。

重试策略还需要区分失败阶段。连接建立失败、首字节之前的服务端错误，都可以安全重试；一旦收到首个事件，重试就应当升级为续传流程。把这两种路径在客户端明确分开，既保护预算，也保护会话上下文的完整性。

04 · 用 GPT-6 Astra 与 Claude Haiku 4.5 做长流回归

验证配置最有效的方式，是把长输出固化成可重复的回归测试。用 GPT-6 Astra 这类输出稳定的旗舰模型产生万级 token 的长流，记录每帧到达时间与累积字节数；再用 Claude Haiku 4.5 这类低延迟模型在高并发下压测帧节奏，观察代理在扇出放大时是否会重新开始缓冲。

验收清单固定为三条：流的结尾必须收到明确的结束事件；整条流上的字符序列连续，无重复、无缺失；客户端断线重连后能从上次偏移继续，而不是整体重放。把这三项纳入发布门禁，长回答被切在半句的问题就不会再随版本回归。

回归脚本还应覆盖峰值并发场景：单条长流容易通过，五十条同时在途时才暴露缓冲与连接池的耦合问题。记录并发下的帧到达分布，比只看平均时延更能发现间歇性截断。

05 · 按真实 token 计量，给续传和缓存建预算护栏

中断的流同样计费：已经生成的部分真实消耗了算力。客户端应当保存已完成的增量，续传时只补尾部，而不是从头再来，否则一次网络抖动就可能把同一批内容生成两遍。把缓存写入与缓存读取分开统计之后，长上下文反复调用的成本才可解释、可预测，预算告警也才能按真实消耗而不是请求数来设置。

预算护栏最好在两个层面同时生效：客户端限制在途长流的数量与单流的 token 上限，账户侧按日消耗设置告警阈值。前者防止一次超时重试把预算翻倍，后者让异常消耗在形成账单之前就浮出水面。

这正是 Quanta 这类按真实 token 计费的中继对大规模团队的价值所在：一个余额即可覆盖 Claude、GPT、Gemini、DeepSeek、Kimi、GLM、Qwen、Grok 等模型，配合 Claude Code、Codex、Gemini CLI 以及任何 OpenAI SDK 都能直接接入，只需把 SDK 的 base URL 指向官方 API 基地址，计量口径与缓存读写自然分离；推荐他人充值还可获得 19% 返佣。若你的团队正被长流截断困扰，建议现在就开通一个账户，按上述清单把代理、计时器与预算护栏一次性调通。