快速结论:这个报错通常发生在用 SmolVLM / SmolVLM2 / Idefics3 系列 checkpoint 的 apply_chat_template 渲染对话时,消息的 content 传的是非空字符串而非类型化列表,模板取 content[0]['type'] 失败,文本被静默丢弃。优先排查模板版本,以及传入的 content 结构。
适用环境:Issue 已确认:transformers 5.22.2(main 分支 e4e4e98 也可复现);Windows-10-10.0.26300-SP0;Python 3.11.15;huggingface_hub 2.4.0;Safetensors 0.8.0;PyTorch 2.15.0+cpu;Accelerate / DeepSpeed 未安装;单机非分布式。修复验证使用 transformers 5.22.2,checkpoint 为合并后的 Hub 模板版本(SmolVLM2-2.2B-Instruct 为 be92141)。
最快修复方案:暂无确认的一步修复方案。已验证有效的是:更新到修复后的模板版本(transformers 内置 DEFAULT_CHAT_TEMPLATE 的修复 PR #50635,以及各 checkpoint 在 Hub 上合并的 chat_template.json 修订),或在调用前把字符串 content 转成 [{"type": "text", "text": ...}] 形式。
注意事项:该问题依赖模型作者维护的 jinja 模板,维护者表示不强制所有模型统一处理,因此不同 checkpoint 是否已修复需逐个确认。Idefics3-8B-Llama3 的 Hub 模板 PR 因无组织写权限未合并,其 tokenizer_config.json 使用另一套 Llama-3 文本模板(已能处理字符串),主要涉及 chat_template.json。两个 SmolVLM2 Video 仓库的视频对话仍需 #50635 生效。
问题场景
使用 AutoProcessor.from_pretrained 加载 SmolVLM2-2.2B-Instruct(revision 482adb537c021c86670beed01cd58990d01e72e4)或同类 checkpoint,调用 proc.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True) 渲染带图片或视频的消息。当某条消息的 content 是字符串(例如 system 消息 "Be brief.")时,文本被省略且不报错;content 为空字符串时则会抛异常。正文报告的影响场景:small-mind-companion 在纯文本评测中因字符串 prompt 变成空回合,SmolVLM2-2.2B 各文本类别得分 0.0。
报错原文
SmolVLM: built-in video chat template drops non-empty string message content
'<|im_start|>System: <end_of_utterance>\nUser:<image>Describe.<end_of_utterance>\nAssistant:'
'<|im_start|>System: <end_of_utterance>\nUser: <video>Describe.<end_of_utterance>\nAssistant:'
'<|im_start|>System: Be brief.<end_of_utterance>\nUser:<image>Describe.<end_of_utterance>\nAssistant:'
'<|im_start|>System: Be brief.<end_of_utterance>\nUser: <video>Describe.<end_of_utterance>\nAssistant:'
其中第 1、2 行表示字符串 system prompt 的文本丢失(第 2 行是视频场景,走 DEFAULT_CHAT_TEMPLATE;第 1 行是图片场景,走 checkpoint 自带 chat_template.json)。
原因分析
当对话含视频时,SmolVLMProcessor.apply_chat_template 会用 models/smolvlm/processing_smolvlm.py 中的 DEFAULT_CHAT_TEMPLATE 替换 checkpoint 模板。该模板只处理“类型化片段列表”形式的 content:先读 message['content'][0]['type'],再遍历 message['content'] 预期每项为 dict。若 content 是字符串,[0] 取到的是单个字符,line['type'] 取值无效,于是消息文本被省略且不报错。checkpoint 自带的 chat_template.json 存在同样的内容处理逻辑,因此图片场景也会出现同样问题。从模板中 content[0]['type'] 处进入字符串处理,可优先尝试;Issue 给出的思路是在现有列表处理前增加字符串分支,与 Qwen2-VL 模板做法一致。
环境排查
- 确认 transformers 版本:Issue 在 5.22.2 与 main(e4e4e98)复现;修复验证也在 5.22.2 上进行。
- 确认 checkpoint 的 Hub 模板修订:是否已包含对应
chat_template.json修复(如 SmolVLM2-2.2B-Instruct 的 be92141)。 - 确认 transformers 内置
DEFAULT_CHAT_TEMPLATE是否已包含 #50635 的修复,视频场景依赖它。 - 确认 Python 3.11、PyTorch 2.15.0 等与 Issue 一致即可作参照;Accelerate / DeepSpeed 未安装,若你的环境使用它们需另行排查。
- 确认调用时是否
tokenize=False(便于观察渲染结果而不实际读取视频文件),以及content是字符串还是类型化列表。
解决步骤
- 先确认问题是否存在:用与 Issue 相同的两条消息构造(一个字符串 system prompt、一个类型化文本 user 内容,附带
{"type": "video", "path": "clip.mp4"}),以tokenize=False调用apply_chat_template,观察输出中 system 文本是否保留。 - 升级 transformers 到包含 #50635 的版本,使内置
DEFAULT_CHAT_TEMPLATE支持字符串 content;视频场景依赖此修复。 - 更新 checkpoint 到已合并修复的 Hub 修订。Issue 中核对过的仓库:SmolVLM2-2.2B-Instruct、SmolVLM2-500M-Video-Instruct、SmolVLM2-256M-Video-Instruct、SmolVLM-Instruct、SmolVLM-256M-Instruct、SmolVLM-500M-Instruct;Idefics3-8B-Llama3 的 Hub PR 因权限未合并,需关注后续进展。
- 无法立即升级或模板未修复时,在调用处理器前把字符串
content统一转换为[{"type": "text", "text": ...}]形式,这是 Issue 中报告者已采用的规避方式。
验证方法
重新运行 Issue 的四组组合(字符串 / 类型化 system prompt 与图片 / 视频内容交叉),在修复后的模板上四种情况都应渲染出 System: Be brief.<end_of_utterance>。同时确认列表形式 content 的输出与修复前一致,未发生回归。报告者在 transformers 5.22.2 + 合并后的 checkpoint 修订上已完成该验证。
参考来源
huggingface/transformers #50613
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


