快速结论:这个报错通常出现在 RAGFlow 启用知识编译(knowledge compilation / structure graph)并批量、延迟或重建式发布完成事件时:数据集级待处理队列(backlog)被写进 TEXT 列,条目约超过 530 条后写入失败(严格 sql_mode 下 Error 1406)或被截断,导致数据集级图谱、时间线和思维导图静默漏文档。优先确认 backlog 存储列的字段类型,以及当日志是否只有 warning。
适用环境:RAGFlow 自建 main 分支(Issue 报告时为 v1.0.0-rc1-129 + 本地补丁,commit bc2934b89);MySQL 8.0.40(默认 sql_mode,严格模式);Elasticsearch 8.11;数据集开启 knowledge compilation(structure graph)。Python、CUDA、PyTorch、显卡信息在 Issue 中未提及。
最快修复方案:升级到包含修复 #20855 的代码:backlog 列扩宽为 LONGTEXT,且队列改为独立表 KnowledgeCompileBacklog(每条 backlog 一行),不再受单列类型大小限制。Issue 作者未在真实环境复测,仅从代码层面确认修复方向。
注意事项:修复尚未经原场景复测(数百条待处理文档的数据集 backlog),Issue 已按“后续测试再开”方式关闭。升级前请注意代码迁移对 knowledge_compile_docs 表结构的影响;Issue 未给出迁移命令,需按发布版本说明执行。
问题场景
用户在 RAGFlow 中对启用了知识编译(结构图谱)的数据集进行批量导入、重编译或延迟合并时触发。典型做法是通过 Consumer.RebuildDataset 重建数据集,或在文档完成时阻止数据集级 merge 领取(如占用 knowledge_compile_docs 行的租约),使完成事件持续堆积在 backlog 中。Issue 报告者在一个 582 文档的重编译中丢失最后 3 条完成事件;在 3,270 文档导入、暂停 merge 时 backlog 达到 2,605 条(约 320 KB)。
报错原文
[Bug]: Go knowledge compile: the dataset backlog is a TEXT column, so a backlog over ~530 documents silently drops completions
Error 1406 (data too long)
原因分析
已在 Issue 中确认的原因是:knowledge_compile_docs.backlog_doc_ids 和 inflight_doc_ids 以 TEXT 列存储 JSON 数组,TEXT 上限为 65,535 字节;按单个条目约 123 字节计算,大约只能容纳 530 条。publishEntry 每次追加都会重写整个数组,因此在严格 sql_mode 下更新报 Error 1406,错误只被 ingestion service 记为 warning,文档仍显示已解析,但不会进入数据集级合并,也没有重试;在非严格 sql_mode 下则被静默截断,JSON 失效,后续 claim 得到空 backlog,所有待处理文档都会丢失。
环境排查
- 确认 RAGFlow 代码版本或镜像是否仍使用
TEXT类型的 backlog 列,以及是否已包含 #20855。 - 确认 MySQL 版本与
sql_mode是否为严格模式(MySQL 8 默认严格);这决定表现为 Error 1406 还是静默截断。 - 检查
knowledge_compile_docs表是否存在,以及 backlog 是存于列还是已拆分为KnowledgeCompileBacklog表。 - 检索 ingestion service 日志中与
PublishCompleted相关的 warning,确认是否出现 Error 1406。 - 按数据集估算已编译文档数,判断 backlog 是否接近或超过约 530 条的容量上限。
解决步骤
- 将 RAGFlow 升级到包含修复 #20855 的版本;该修复把 backlog 列扩宽为
LONGTEXT,并将 backlog 迁移为独立表KnowledgeCompileBacklog(一条 entry 一行)。 - 升级后检查数据库结构,确认 backlog 不再以单个
TEXT列承载整个数组。 - 对曾受影响的数据集,按需重新触发知识编译或重建,使此前静默丢失的完成事件重新进入数据集级合并流程。
- 若暂时无法升级,可优先尝试避免在同一数据集上累积大量未合并完成事件,例如不长时间暂停 merge、不一次性重建超过约 530 篇文档的数据集;这些规避方式未在 Issue 中验证。
验证方法
在包含修复的代码上,对一个待处理 backlog 达到数百条的数据集执行原场景(延迟 merge 或重建后批量完成文档),确认不再出现 Error 1406、backlog 条目数不随列大小被截断,且数据集级 graph、timeline、mind map 包含全部已完成文档。目前 Issue 作者尚未完成该复测。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


