Use python generator instead of streamer for generation

问题场景

开发者使用 Hugging Face Transformers 的 model.generate() 进行文本生成时，希望像 Python 生成器一样逐个获取生成的 token，而不是通过自定义 streamer 回调对象来接收。Issue 中提议添加 yield_tokens=True 参数，使 generate() 返回一个可迭代对象，便于直接用 for 循环、enumerate 或 tqdm 进度条处理。

报错原文

Use python generator instead of streamer for generation

（注：该 Issue 本身是功能请求而非报错；用户在尝试旧版 generate() 直接遍历时会遇到 TypeError: 'xxx' object is not iterable 一类错误，但原始 Issue 未贴出具体报错。）

原因分析

可能原因：model.generate() 的返回值（如 GenerateOutput 或 Tensor）默认不是可迭代对象，无法直接用于 for token in ... 语法。Transformers 现有的 streamer 机制（如 TextStreamer）要求用户实现回调方法（put、end），这迫使处理逻辑与生成过程耦合，而不是像生成器那样允许外层代码按需拉取数据。Issue 作者认为生成器接口更简洁，但官方回复指出该改动需要对 generate() 内部进行大量重构，因此一直未落地。

环境排查

• 确认 Transformers 版本：检查是否 >= 4.30.0（AsyncTextIteratorStreamer 在该版本附近引入）。
• 确认是否使用新一代 continuous batching API（transformers.generation.continuous_batching）。
• 确认调用方式：旧式单次 generate() 无法直接迭代；如果需要流式输出，必须搭配 streamer 或异步迭代器。
• 检查是否误将 yield_tokens=True 作为正式参数传入（该参数从未被实现）。

解决步骤

1. 升级 Transformers 到包含 AsyncTextIteratorStreamer 的版本（建议使用最新 release，或至少 >= 4.30.0）。
2. 对于单次生成场景，改用 AsyncTextIteratorStreamer：

from transformers import AutoModelForCausalLM, AutoTokenizer, AsyncTextIteratorStreamer

model = AutoModelForCausalLM.from_pretrained("your-model")
tokenizer = AutoTokenizer.from_pretrained("your-model")
streamer = AsyncTextIteratorStreamer(tokenizer)

# 在异步事件循环中：
# await model.generate(input_ids, streamer=streamer, max_new_tokens=20)
# async for token in streamer:
#     print(f"下一个 token: {token}")

3. 如果使用 continuous batching 接口，可参考官方实现：

# 具体用法可参考 transformers/generation/continuous_batching/continuous_api.py
# manager 本身是可迭代的：for result in manager
# 或按 request_id 迭代：manager.request_id_iter(request_id)

4. 如果仍希望保持同步生成器语法，暂时只能通过自建队列 + 后台线程模拟，或等待官方未来实现——但 Issue 已关闭，短期无计划。

验证方法

确认 AsyncTextIteratorStreamer 能按 token 逐个输出内容，且无需自定义 streamer 子类；或确认 continuous batching 管理器能够直接 for 遍历。若两者均无法满足需求，可重新打开该 Issue 说明情况。

参考来源

huggingface/transformers #23640

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。