标签： LLM

AI 资讯

RAG 将法学硕士与您的文档联系起来，因此答案是扎实的、最新的，并且不太可能产生幻觉。它对内容进行索引，检索相关段落，并且法学硕士会生成引用的响应。下周：分块数据！ #R…

AI 技术开发者 @codesmith_ 在 2026 年 7 月 3 日发布了一则关于 RAG（检索增强生成）技术的简明科普推文，重申了 RAG 如何让大语言模型（LLM）基于用户自有文档生成更可靠、有引用的答案，并预告了关于“数据分块”（Chunking）的后续内容。

celebrityanime
2026年 7月 4日

AI 资讯

cuda: reset cuda context (#23935) causes multi-GPU split buffer crash during model load

用户使用 3× RTX 3090 运行 llama.cpp（commit 2490fe65b 至 0f7fada56 之间版本），以 -sm row 模式加载 Gemma4-31B Q6_K_L 模型。在模型权重加载过程中发生崩溃。此前同一配置在更早提交下可正常加载。

celebrityanime
2026年 7月 4日

AI 资讯

Misc. bug: ui: “Stream connection lost and could not be resumed” with slow models after 1a87dcdc

用户在使用 llama-server 从 WebUI 发起推理时，特别是使用大型模型（如 MoE 模型、70B+ 参数模型）且模型加载速度较慢的场景下触发。典型环境： llama-server 搭配 --models-preset 多模型配置，使用 --threads-http 2 等低 HTTP

celebrityanime
2026年 7月 4日

AI 资讯

Eval bug: DFlash Speculative Decoding Crash: GGML_ASSERT(buffer) Failure

用户在 llama.cpp 的 llama-server 中启用 DFlash 投机解码（ --spec-type draft-dflash ），并设置 --cache-type-k 和 --cache-type-v 为 q8_0 （非默认值）时，在首次 draft decode 阶段发生段错误。硬

celebrityanime
2026年 7月 4日

AI 资讯

RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {

用户在 vLLM 中加载 Qwen/Qwen3.5-27B-GPTQ-Int4 模型时触发错误。环境为 Ubuntu 24.04.3 LTS，Python 3.12.3，PyTorch 2.10.0+cu130，CUDA 13.0，搭载 NVIDIA RTX PRO 6000 Blackwell 显

celebrityanime
2026年 7月 4日

AI 资讯

Seed-OSS-36B-Instruct-GGUF:Q4_K_M

用户在 Ollama 中尝试加载 Seed-OSS-36B-Instruct-GGUF 的 Q4_K_M 量化版本时出现 500 内部错误，相同环境下载入 Seed-Coder-8B-Instruct 则无问题。社区反馈该模型在 LM Studio(非 Ollama)上可以运行，但工具调用（Tool

celebrityanime
2026年 7月 4日

AI 资讯

plamo-2-translate-gguf

用户从 Hugging Face 下载了所有可用的 plamo-2-translate-gguf 模型，尝试通过 ollama run hf.co/mmnga/plamo-2-translate-gguf:Q8_0 等命令在 Ollama 中运行，但触发错误。

celebrityanime
2026年 7月 4日

AI 资讯

REGRESSION: NVIDIA-Nemotron-Nano-9B-v2 not working.

用户在 Ollama 中运行 mirage335/NVIDIA-Nemotron-Nano-9B-v2-virtuoso 模型（一个基于 NVIDIA Nemotron Nano 9B 的 MoE 模型）时，通过 --verbose 参数发起推理请求，模型加载失败并返回 500 错误。该问题在之前的