快速结论:当 gpt-oss 的 chat completions 请求历史里,前一轮 assistant 的 tool_calls[].function.name 含有 <|end|>、<|channel|> 这类特殊 token 文本时,请求在进入生成前就会渲染失败并返回 500。优先检查请求历史中的工具调用名,而不是本次提供的 tools 定义。
适用环境:Issue 在 vLLM 0.31.0(oss-harmony 0.0.12)复现,并确认相同代码存在于 v0.32.0、v0.33.0 与 main(ab4e04d2dc15480acc4c6eb4cb88f94e01ebec2f);服务器侧还实测了 vLLM 0.32 + openai/gpt-oss-120b。问题位于 chat-completions 渲染器的纯 Python 代码中,不依赖 GPU 或平台。
最快修复方案:暂无确认的一步修复方案。Issue 最终保留的单一修复 PR 为 #65771,其思路是把工具名中的特殊 token 文本按普通文本编码,使请求不再 500;按 Issue 时间线,该 PR 尚未合并到上述版本。可优先尝试升级到包含该修复的 vLLM 版本(若已发布),否则需要自行清理历史中的异常工具名。
注意事项:按普通文本编码只是让请求能继续渲染,返回的工具调用语义是否仍然正确尚未验证;Issue 中也讨论过“直接拒绝含特殊 token 的工具名(返回 400)”,但那会中断已经携带此类历史名的会话。清理历史工具名属于规避手段,未在 Issue 中作为官方验证方案。
问题场景
使用 vLLM 部署 gpt-oss 模型(Issue 实测 openai/gpt-oss-120b),通过 /v1/chat/completions 发起带工具调用的多轮对话。某一轮 assistant 消息的 tool_calls[].function.name 变成了 get_weather<|end|> 或 get_weather<|channel|>commentary 这类名字后,客户端把这条工具调用保留在会话历史中,后续每一轮请求都会在渲染阶段报错并返回 500。本次请求里 tools schema 定义的工具名本身是正常的。
报错原文
[Bug]: gpt-oss chat completions return 500 when a prior tool call name contains special-token text
openai_harmony.HarmonyError: Encountered text corresponding to disallowed special token '<|end|>'.
File "vllm/entrypoints/openai/parser/harmony_utils.py", line 458, in render_for_completion
return _use_legacy_tool_call_headers(token_ids)
File "vllm/entrypoints/openai/parser/harmony_utils.py", line 517, in _use_legacy_tool_call_headers
+ encoding.encode(f"assistant to={recipient}")
原因分析
可能原因在于 _use_legacy_tool_call_headers(由 #55128 引入)的处理逻辑:它把每个已渲染工具调用头里的 recipient 解码回文本,再调用 encoding.encode 重新编码。Harmony 已经把该工具名当作普通文本 token 渲染,输入本身是合法的,但 encode 默认拒绝特殊 token 文本,于是抛出 HarmonyError,请求在生成前就失败。报错中出现的 token 主要是 <|end|>,有时是 <|channel|>。
环境排查
- 确认 vLLM 版本是否处于 0.31.0 至 0.33.0 或 main 的受影响范围;纯 Python 渲染路径问题,GPU 与操作系统不是关键因素。
- 确认 oss-harmony 版本,Issue 复现环境为 oss-harmony 0.0.12。
- 检查请求 messages 中所有 assistant 消息的
tool_calls[].function.name,重点排查是否含有<|end|>、<|channel|>、<|start|>等特殊 token 文本。 - 区分问题来源:报错来自请求历史中的工具名;本次请求的 tools 定义、content、arguments、call id 均不是触发点。
- 如使用 OpenRouter 等多供应商路由,同一会话不同轮次可能由不同提供方生成工具名,需确认历史中工具名的产出方。
解决步骤
- 先定位请求:按 Issue 中的最小请求形态,检查失败请求的 messages,确认是否存在携带特殊 token 文本的 assistant 工具调用名。Issue 指出该请求在 v0.32.0 和 v0.33.0 上可稳定复现 500。
- 可优先尝试在客户端或中间层剔除/修正历史里的异常工具名,使后续请求不再携带该名字,作为临时规避;此做法在 Issue 中未被验证为正式方案。
- 如可修改代码,可优先尝试采用 #65771 的修复思路:在
_use_legacy_tool_call_headers的重新编码处,把工具名中的特殊 token 文本按普通文本编码。Issue 作者确认修复后不含此类名字的历史渲染出的 token id 完全一致(抽查 3,856 条)。 - 关注 #65771 的合并与发布状态,升级到包含该修复的 vLLM 版本。Issue 中 #66899 已被关闭,不作为本问题的修复方案。
- 如需从源头减少异常工具名的产生,Issue 提到启用
--tool-strict-level function并升级到 v0.33.0 后错误变少,但作者注明也可能是偶然,不能视为确认有效的修复。
验证方法
用 Issue 中的 curl 请求(openai/gpt-oss-120b,历史工具名为 get_weather<|end|>)请求 /v1/chat/completions,确认不再返回 500,也不再出现 HarmonyError: Encountered text corresponding to disallowed special token。无服务器时,也可用 Issue 中的最小 Python 复现脚本确认 render_for_completion 对 get_weather<|end|> 不再抛异常。修复后还需确认模型能正常回应该工具调用,因为特殊 token 被当作普通文本编码后的语义正确性尚未验证。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


