快速结论:该报错通常出现在用 Parakeet TDT 模型进行 greedy 解码(尤其是含噪、近静音音频)时,解码器在同一 encoder frame 上反复输出非 blank token 而不前进。优先排查 TDT 解码路径是否对 max_symbols_per_step 生效。
适用环境:transformers 5.15.1(相关代码在 5.18.0 的 main 上未变化),torch 2.8.0,Python 3.13,模型 nvidia/parakeet-tdt-0.6b-v3;macOS(CPU)与 Linux(CUDA)行为一致。
最快修复方案:暂无确认的一步修复方案。Issue 中 PR 仍在等待维护者评审,未合入官方版本;上游确认前只能按下方步骤自行验证补丁。
注意事项:Issue 中给出的补丁尚未合并,不能视为官方修复;自行修改后需在真实音频上回归,确认不再出现跑到 token 上限的失控重复。
问题场景
在使用 Transformers 的 ParakeetForTDT 加载 nvidia/parakeet-tdt-0.6b-v3,以 greedy 方式调用 generate() 时触发。Issue 作者在 482 段德语医疗听写生产数据上(微调后的 Parakeet TDT checkpoint,float16、greedy、max_new_tokens=3072,batch size 1,每段一次 generate())复现了端到端的失控重复,其中 13 段(多为 1–4 秒的噪声或近静音音频)直接跑到 3072 token 上限。
报错原文
Parakeet TDT greedy decoding ignores `max_symbols_per_step`: unbounded token repeats on one encoder frame
最小复现脚本的关键输出:
max_symbols_per_step=10, vocab_size=8193, blank=8192
RNN-T mixin: frame pointer forced forward after step 10
TDT mixin: frame pointer forced forward after step None
原因分析
已确认的原因:ParakeetTDTGenerationMixin._update_model_kwargs_for_generation 按预测 duration 推进 encoder_frame_idxs,但只对 blank token 强制最小前进一帧:
blank_mask = tokens == self.config.blank_token_id
durations = torch.where(blank_mask & (durations == 0), torch.ones_like(durations), durations)
model_kwargs["encoder_frame_idxs"] = model_kwargs["encoder_frame_idxs"] + durations
因此当非 blank token 的预测 duration 为 0 时,解码器会停留在同一个 encoder frame 上,且没有任何符号数上限约束。
ParakeetRNNTGenerationMixin 本来有 _symbols_at_frame / self.max_symbols_per_step 这一限制,但 TDT 的覆写有意跳过了它。同时 ParakeetForTDT.__init__ 仍然保存 self.max_symbols_per_step = config.max_symbols_per_step(该 checkpoint 的 config.json 设为 10),_prepare_generated_length 也用它来预估输出缓冲长度,但 TDT 解码过程从未真正应用这个值。这就是“限制被配置却未生效”的来源。
环境排查
- 确认 transformers 版本:Issue 基于 5.15.1,相关代码在 5.18.0 main 上未改动,其他版本建议先比对
generation_parakeet.py。 - 确认 torch 版本为 2.8.0、Python 为 3.13(Issue 中报告的环境)。
- 确认解码路径走的是
ParakeetTDTGenerationMixin而非 RNN-T mixin,二者对max_symbols_per_step的处理不同。 - 确认模型 config 中
max_symbols_per_step(checkpoint 为 10)与blank_token_id的值。 - 确认是否使用 greedy 解码以及
max_new_tokens设置,失控重复会表现为接近该上限。
解决步骤
- 先用 Issue 中的最小脚本(构造 argmax 为非 blank token、duration 为 0 的 joint logits)在本地对比 RNN-T mixin 与 TDT mixin 的
encoder_frame_idxs推进情况,确认你的环境同样复现。 - 定位
transformers/models/parakeet/generation_parakeet.py中ParakeetTDTGenerationMixin._update_model_kwargs_for_generation,确认其中只有 blank 分支强制前进一帧。 - 可优先尝试:参照 issue 作者提出的修复,让 TDT 解码路径也应用
max_symbols_per_step上限;Issue 中已有两个针对该问题的 PR,但均未合入,因此改动需你自行承担验证成本。 - 修改后在真实业务音频(尤其是含噪、近静音片段)上回归,而不是只跑单步脚本。
验证方法
重新运行最小复现脚本,TDT mixin 的帧指针应在第 10 步(与 max_symbols_per_step=10 一致)后前进,而不是返回 None。在真实数据上,原本跑到 3072 token 上限的噪声/近静音段应不再出现失控重复,输出长度回落到正常范围。
参考来源
huggingface/transformers #49388
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


