分类: AI 资讯

issue: streaming transmission cannot be stopped when using redis

issue: streaming transmission cannot be stopped when using redis

用户在 Docker 环境下运行 Open WebUI 0.10.2 版本,后端模型通过 Ollama 服务(或其他 LLM 后端)提供流式推理能力。用户在前端发起对话请求,模型开始流式输出 token,用户点击“停止”按钮期望中断生成,但实际流式传输无法停止,生成持续到模型主动完成。该问题仅在系统

Ollama is not using my GPU (Windows)

Ollama is not using my GPU (Windows)

用户在 Windows 终端运行 ollama run mistral:7b --verbose 时,首次请求 GPU 使用率短暂上升(25%)但后续请求 GPU 使用率降至 0-1%,模型响应极慢。其他模型(如 tinyllama)可正常使用 GPU。该问题在 Ollama v0.1.29 及后续

Ollama not running with ROCm backend?

Ollama not running with ROCm backend?

用户在一台仅配备 AMD iGPU(Radeon 890M,RDNA 3.5 架构)的 Linux 设备上运行 Ollama(版本 0.5.11),并与 llama.cpp 的 CPU、ROCm 后端进行性能对比。测试发现 Ollama 推理速度显著慢于 llama.cpp 的 ROCm 后端,甚至

The OpenAI Bubble

The OpenAI Bubble

一篇深度分析指出,当前 AI 热潮本质上是围绕 OpenAI 的“泡沫”,而该公司的潜在崩塌可能成为行业“雷曼时刻”。文章披露 OpenAI 计划到 2030 年烧掉超过 8520 亿美元,今年的算力支出预计占全球 AI 算力总支出的 50% 以上。