Crash in Vulkan backend on Intel Arc when using Ollama through VS Code Continue (Exception 0xe06d7363 during llama_decode)

用户在 Windows 11 系统上使用 Ollama 0.15.6 运行 Qwen2.5-7B(Q4_K 量化)模型,通过 VS Code Continue 扩展发送流式请求。模型加载成功,29 层全部卸载到 Intel Arc 140V GPU,Flash Attention 已启用。在 Con

快速结论:此报错发生在 Windows 11 + Intel Arc GPU(如 Arc 140V)上,仅当通过 VS Code Continue 插件调用 Ollama 进行流式解码时触发。直接使用终端 `ollama run` 不会崩溃。优先排查 Ollama Vulkan 后端在高频小批量解码下的同步问题,或 Intel Arc Vulkan 驱动兼容性。

问题场景

用户在 Windows 11 系统上使用 Ollama 0.15.6 运行 Qwen2.5-7B(Q4_K 量化)模型,通过 VS Code Continue 扩展发送流式请求。模型加载成功,29 层全部卸载到 Intel Arc 140V GPU,Flash Attention 已启用。在 Continue 触发解码流程(`llama_decode`)后,Ollama runner 进程崩溃,返回 500 错误。

报错原文

Exception 0xe06d7363 0x19930520 0x1de98f9550 0x7ffa3647a80a signal arrived during external code execution
llama_decode → crash
wsarecv: An existing connection was forcibly closed by the remote host

原因分析

可能原因包括:

  • Vulkan 后端在高频解码调用下的 bug: Continue 触发流式、增量、小批量解码请求,与直接终端调用的模式不同,导致 GPU 后端在 `llama_decode` 期间出现未处理的异常。
  • Intel Arc Vulkan 驱动兼容性问题: 类似的高频解码工作负载在 GGML 项目中也出现过崩溃,可能与驱动的内存同步或批处理处理有关。
  • CPU↔GPU 同步失败: 增量解码时的同步机制可能触发 `Exception 0xe06d7363`(微软结构化异常 C++ 异常),这表明是从 C++ 运行时抛出的未处理异常。

环境排查

  • Ollama 版本:0.15.6(建议更新到最新版测试)
  • 显卡驱动:Intel 32.0.101.8425(可能原因;有用户更新驱动后问题缓解)
  • Vulkan API:1.4.333
  • 操作系统:Windows 11
  • 模型:Qwen2.5-7B(Q4_K 量化)
  • 触发方式:仅 VS Code Continue 扩展,终端直接运行无问题

解决步骤

  1. 更新 Ollama 和 Vulkan 后端: 升级到最新版 Ollama(Issue 关闭时版本为 0.15.6 后的版本),可能已包含后端修复。
  2. 更新 Intel 显卡驱动: 从 Intel 官网更新显卡驱动到最新版本(社区用户反馈某些驱动版本可缓解此问题)。
  3. 尝试关闭 Flash Attention: 在 Ollama 配置或模型中禁用 Flash Attention,可降低崩溃频率(但非根治)。
  4. 减少 GPU 层数或降低批次大小: 调整 num_gpu_layersbatch_size 参数,降低 GPU 负载,可优先尝试。
  5. 切换后端(如果可用): 尝试使用 CUDA 或 CPU 后端(若硬件支持),确认问题是否仅存在于 Vulkan。
  6. 检查 Ollama 服务器日志: 查看 ollama server 的完整日志,定位崩溃前的 Vulkan 内存报告或层卸载信息,有助于进一步调试。

验证方法

执行解决步骤后,通过 VS Code Continue 触发同样的流式请求,观察是否不再报错。确认 wsarecv 连接断开和 500 错误不再出现,且模型能完整输出。同时使用 ollama run 验证基础功能仍然正常。

参考来源

ollama/ollama #14207

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 22912

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注