快速结论:该报错通常发生在使用 apply_chat_template(或处理器路径的 _normalize_conversations)时会话列表里混入了 dataclass 或 pydantic 消息对象,例如 OpenAI SDK 返回的 ChatCompletionMessage;优先排查消息是否都是字典,或先把对象转成字典再传入。
适用环境:transformers 5.23.0 及 main(3a134bc3)复现,5.22.2 正常;Linux x86_64,Python 3.13.18,jinja2 3.1.6,pydantic 2.14.3,openai 3.51.0。Issue 未提供 CUDA、显卡或 PyTorch 信息。
最快修复方案:暂无已合并验证的一步修复方案;Issue 中确认的临时处理是在调用 apply_chat_template 前,把每条消息统一转换为字典,并对 pydantic 模型排除 None 字段(如 model_dump(exclude_none=True)),对 dataclass 用 dataclasses.asdict 后过滤 None 键。可优先尝试。
注意事项:该转换需在每次调用模板前执行,包括使用 OpenAI SDK 对象进行 tool-calling 的循环;若只想升级或回退,5.22.2 可用、5.23.0 会出现此回归,但 Issue 未给出已验证的升级修复版本。转换助手应同时覆盖 dict、pydantic v1/v2 和 dataclass,避免再次传入不支持的类型。
问题场景
用户在调用 PreTrainedTokenizerFast.apply_chat_template 渲染聊天模板时,传入的消息列表包含 dataclass 实例(Message(role, content))或 OpenAI SDK 返回的 pydantic 消息对象(ChatCompletionMessage)。该问题在 5.22.2 正常,在 5.23.0 及 main 上出现。Issue 同时指出,处理器路径的 ProcessorMixin._normalize_conversations 中同类推导式也会以相同方式失败。
报错原文
File ".../transformers/tokenization_utils_base.py", line 3144, in apply_chat_template
[{k: v for k, v in msg.items() if v is not None} for msg in conversation] for conversation in conversations
^^^^^^^^^
AttributeError: 'Message' object has no attribute 'items'
第二个用例的报错为:AttributeError: 'ChatCompletionMessage' object has no attribute 'items'。
原因分析
#45422 在 apply_chat_template 中先用 msg.items() 删除值为 None 的键,但这一步早于消息对象被转换为字典。对象转字典发生在后续 render_jinja_template 内的 _plain_template_data,该函数明确接受 dict、dataclass 或 pydantic 模型,并且已有 test_message_objects_render_like_dicts(#50431)覆盖。但该测试直接调用 render_jinja_template,没有经过 apply_chat_template,因此未捕获此崩溃。OpenAI SDK 的消息对象又常带 content=None、tool_calls=None 等字段,正好是 #45422 想规范化的输入,却在到达转换逻辑前就报错。
环境排查
- 确认 transformers 版本:5.22.2 正常,5.23.0 及 main(3a134bc3)复现。
- 确认 Python 版本与依赖:Issue 环境为 Python 3.13.18、jinja2 3.1.6、pydantic 2.14.3、openai 3.51.0;若版本不同,可作为变量记录。
- 确认传入
apply_chat_template的每个消息类型:dict、dataclass、pydantic v1/v2 或 OpenAI SDK 对象。 - 若使用处理器,检查是否走
ProcessorMixin._normalize_conversations路径;Issue 称该路径同样受影响。 - Issue 未涉及 CUDA、显卡、PyTorch 或具体模型,排查时无需作为必要条件。
解决步骤
- 先在调用前打印或检查消息列表中每个元素的类型,确认是否混有 dataclass 或 pydantic 对象。
- 编写统一转换函数:dict 原样保留;有
model_dump的按 pydantic v2 处理并调用model_dump(exclude_none=True);有dict方法的按 pydantic v1 处理并调用dict(exclude_none=True);dataclass 用dataclasses.asdict转成字典后过滤None键;其他类型抛出明确错误。 - 将转换后的列表传给
apply_chat_template,确保不直接把原始 dataclass 或 OpenAI SDK 对象送入。 - 若问题出现在处理器路径,对送入处理器的 conversations 也执行相同预处理。
- 不要只改模板或仅升级 jinja2;Issue 表明崩溃发生在对象转换之前,与模板渲染本身无关。
- 如果无法改调用代码,可临时使用 5.22.2,或关注 Issue 中计划在
apply_chat_template与处理器路径内先执行_plain_template_data再删None键的修复。
验证方法
用 Issue 中的最小复现分别传入 dataclass 消息和 ChatCompletionMessage 对象,经预处理后调用 apply_chat_template(tokenize=False),应能正常渲染出类似 user: Hi 与 user: Hi\nassistant: Hello! 的文本,且不再出现 AttributeError。若使用处理器,也应确认同一 conversation 能通过 _normalize_conversations 而不再调用 msg.items() 时报错。
参考来源
huggingface/transformers #50773
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


