[Feature Request]: Go ingestion: support media context windows for book, paper and manual pipelines

[Feature Request]: Go ingestion: support media context windows for book, paper and manual pipelines 属于 RAGFlow Go 摄取链路的 功能缺失 反馈,不是崩溃报错:book、paper、manu

快速结论:[Feature Request]: Go ingestion: support media context windows for book, paper and manual pipelines 属于 RAGFlow Go 摄取链路的功能缺失反馈,不是崩溃报错:book、paper、manual 内置管线使用的 Title/Manual 分块组件不读取也不应用 table_context_size 与 image_context_size,设置非零上下文窗口后没有对应的 Go 消费方,因而表格和图片旁不会附带周边解释文本。

适用环境:Issue 提及 RAGFlow Python v0.27.2 的 book、paper、manual 策略,以及 Go 摄取组件 internal/ingestion/component 下的 schema/chunker.go、chunker/group.go、chunker/general.go、chunker/token.go;未说明操作系统、Python、CUDA、显卡或依赖版本。

最快修复方案:暂无确认的一步修复方案;该能力已由后续 PR #21111 实现,需升级到包含该 PR 的版本。

注意事项:Issue 讨论仅说明实现与验证范围,正文未给出可安装的版本号或具体配置项名称,升级前应以目标版本的发布说明和文档为准;PR 中提到的本地 fixture 证据不等同于对所有既有文档的回归验证,升级后仍需用自有 book/paper/manual 文档复核输出。

问题场景

用户在 RAGFlow 中使用 book、paper 或 manual 类型的内置摄取管线处理文档,期望与 Python v0.27.2 的行为一致:表格和图片分块能按 table_context_size、image_context_size 携带周边文本,以提升书籍、论文和手册中表格、图表的检索效果。但 Go 侧 General/Token 分块器已支持该行为,这三个内置管线使用的 Title/Manual 组件却没有暴露或应用这些上下文窗口参数。

报错原文

[Feature Request]: Go ingestion: support media context windows for book, paper and manual pipelines

该条目为功能请求标题,Issue 中没有传统异常堆栈或错误码;核心现象是非零上下文窗口在 Title/Manual 路径上“no equivalent Go consumer”。

原因分析

可能原因:Go 摄取组件中,Title 参数定义与 Title/Manual 分块构建路径未包含 table/image 上下文窗口字段,而 General/Token 分块器已有现成的上下文收集实现。因此,即使用户在 book、paper、manual 管线中设置了非零窗口,运行时也没有对应代码消费该配置,输出中的媒体分块不会附带相邻文本。Issue 同时指出,这与 flat-config 迁移问题 #20141、DOCX vision 与排序问题 #13330 不同,属于独立的 Go 功能缺口。

环境排查

  • 确认 RAGFlow 部署方式是否走 Go 摄取链路,以及所用版本是否早于包含 PR #21111 的版本。
  • 确认问题文档类型为 book、paper 或 manual,且管线使用 Title/Manual 分块组件,而非 General/Token 分块器。
  • 确认 table_context_size、image_context_size 是否已设置为非零值;设置为 0 或省略时,按 Issue 约定应保持原有输出,不视为缺陷。
  • 核对文档中是否同时包含文本、表格和图片,以便观察媒体分块是否获得周边文本。
  • Issue 未提供操作系统、Python、CUDA、PyTorch、显卡或依赖版本要求,这些项目无需作为本问题的前置排查条件。

解决步骤

  1. 先按 Issue 描述复现:在 book、paper 或 manual 管线上设置非零的表格/图片上下文窗口,检查输出中表格、图片分块是否缺少相邻文本。
  2. 确认当前版本未包含 PR #21111;该 PR 为 Title/Manual 表单与 Go 运行时新增独立的表格、图片窗口,并复用 General 的句子收集器,同时保持 Manual 的物理顺序。
  3. 升级到已合入 PR #21111 的 RAGFlow 版本;Issue 讨论未给出具体版本号,请以对应发布说明为准。
  4. 升级后对同一批 book/paper/manual 文档重新执行摄取,分别对比窗口为 0/省略和窗口非零两种配置下的输出。
  5. 若升级后仍无效果,优先检查管线实际使用的分块组件是否仍为 Title/Manual 路径,以及配置是否真正传入 Go 运行时。

验证方法

使用包含文本、表格和图片的 book/paper/manual 文档执行摄取,确认非零窗口下表格和图片分块附带正确的相邻解释文本,同时文档顺序与媒体载荷保持不变;确认 0 或省略窗口时输出与升级前一致;确认不同源文档之间没有上下文串扰。PR #21111 的验证覆盖了内置模板 fixture、修复前后输出对比、相关 Go 测试套件、定向 race 检查以及前端测试与生产构建,可作为预期行为参考。

参考来源

infiniflow/ragflow #21029

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 32531

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注