[Bug]: Go knowledge compile: the dataset backlog is a TEXT column, so a backlog over ~530 documents silently drops completions

这个报错通常出现在 RAGFlow 启用知识编译(knowledge compilation / structure graph)并批量、延迟或重建式发布完成事件时:数据集级待处理队列(backlog)被写进 TEXT 列,条目约超过 530 条后写入失败(严格 sql_mode 下 Error 1

快速结论:这个报错通常出现在 RAGFlow 启用知识编译(knowledge compilation / structure graph)并批量、延迟或重建式发布完成事件时:数据集级待处理队列(backlog)被写进 TEXT 列,条目约超过 530 条后写入失败(严格 sql_mode 下 Error 1406)或被截断,导致数据集级图谱、时间线和思维导图静默漏文档。优先确认 backlog 存储列的字段类型,以及当日志是否只有 warning。

适用环境:RAGFlow 自建 main 分支(Issue 报告时为 v1.0.0-rc1-129 + 本地补丁,commit bc2934b89);MySQL 8.0.40(默认 sql_mode,严格模式);Elasticsearch 8.11;数据集开启 knowledge compilation(structure graph)。Python、CUDA、PyTorch、显卡信息在 Issue 中未提及。

最快修复方案:升级到包含修复 #20855 的代码:backlog 列扩宽为 LONGTEXT,且队列改为独立表 KnowledgeCompileBacklog(每条 backlog 一行),不再受单列类型大小限制。Issue 作者未在真实环境复测,仅从代码层面确认修复方向。

注意事项:修复尚未经原场景复测(数百条待处理文档的数据集 backlog),Issue 已按“后续测试再开”方式关闭。升级前请注意代码迁移对 knowledge_compile_docs 表结构的影响;Issue 未给出迁移命令,需按发布版本说明执行。

问题场景

用户在 RAGFlow 中对启用了知识编译(结构图谱)的数据集进行批量导入、重编译或延迟合并时触发。典型做法是通过 Consumer.RebuildDataset 重建数据集,或在文档完成时阻止数据集级 merge 领取(如占用 knowledge_compile_docs 行的租约),使完成事件持续堆积在 backlog 中。Issue 报告者在一个 582 文档的重编译中丢失最后 3 条完成事件;在 3,270 文档导入、暂停 merge 时 backlog 达到 2,605 条(约 320 KB)。

报错原文

[Bug]: Go knowledge compile: the dataset backlog is a TEXT column, so a backlog over ~530 documents silently drops completions

Error 1406 (data too long)

原因分析

已在 Issue 中确认的原因是:knowledge_compile_docs.backlog_doc_ids 和 inflight_doc_ids 以 TEXT 列存储 JSON 数组,TEXT 上限为 65,535 字节;按单个条目约 123 字节计算,大约只能容纳 530 条。publishEntry 每次追加都会重写整个数组,因此在严格 sql_mode 下更新报 Error 1406,错误只被 ingestion service 记为 warning,文档仍显示已解析,但不会进入数据集级合并,也没有重试;在非严格 sql_mode 下则被静默截断,JSON 失效,后续 claim 得到空 backlog,所有待处理文档都会丢失。

环境排查

  • 确认 RAGFlow 代码版本或镜像是否仍使用 TEXT 类型的 backlog 列,以及是否已包含 #20855。
  • 确认 MySQL 版本与 sql_mode 是否为严格模式(MySQL 8 默认严格);这决定表现为 Error 1406 还是静默截断。
  • 检查 knowledge_compile_docs 表是否存在,以及 backlog 是存于列还是已拆分为 KnowledgeCompileBacklog 表。
  • 检索 ingestion service 日志中与 PublishCompleted 相关的 warning,确认是否出现 Error 1406。
  • 按数据集估算已编译文档数,判断 backlog 是否接近或超过约 530 条的容量上限。

解决步骤

  1. 将 RAGFlow 升级到包含修复 #20855 的版本;该修复把 backlog 列扩宽为 LONGTEXT,并将 backlog 迁移为独立表 KnowledgeCompileBacklog(一条 entry 一行)。
  2. 升级后检查数据库结构,确认 backlog 不再以单个 TEXT 列承载整个数组。
  3. 对曾受影响的数据集,按需重新触发知识编译或重建,使此前静默丢失的完成事件重新进入数据集级合并流程。
  4. 若暂时无法升级,可优先尝试避免在同一数据集上累积大量未合并完成事件,例如不长时间暂停 merge、不一次性重建超过约 530 篇文档的数据集;这些规避方式未在 Issue 中验证。

验证方法

在包含修复的代码上,对一个待处理 backlog 达到数百条的数据集执行原场景(延迟 merge 或重建后批量完成文档),确认不再出现 Error 1406、backlog 条目数不随列大小被截断,且数据集级 graph、timeline、mind map 包含全部已完成文档。目前 Issue 作者尚未完成该复测。

参考来源

infiniflow/ragflow #20777

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注