RuntimeError: shape ‘[32, 64, 576]’ is invalid for input of size 1343488
![RuntimeError: shape '[32, 64, 576]' is invalid for input of size 1343488](https://www.chat-gpts.plus/wp-content/uploads/2026/07/48896-f8250d36-768x403.jpg)
用户在使用 vLLM v0.25.1 服务 GLM-5.2-NVFP4 模型（GlmMoeDsaForCausalLM 架构，NVFP4 量化，使用 FLASHMLA_SPARSE 解码后端）时，服务器在启动过程中的 CUDA 图内存分析阶段崩溃。该问题在 v0.25.1 版本中首次出现， v0.2
标签： LLM
TheNumbers.com 因 AI 爬虫与安全攻击导致网站崩溃重建
全球电影数据权威网站 TheNumbers.com 因长期遭受大规模 AI 爬虫和自动化攻击，导致服务器无法负载，网站被迫下线重建。事件揭示了依赖数据驱动的网站正在面对的生存危机，以及 AI 产业对互联网基础设施的隐性破坏力。
Duda扩展其AI技术栈，弥合快速网站生成与企业级安全之间的差距
专业建站平台Duda发布了三项AI新工具，包括对话式Web应用编辑器“Vibe”、内嵌式自定义组件生成器和增强版简报驱动建站功能。这些工具意在将AI的快速生成能力与专业机构所需的安全、定制化和可预测性结合，改变行业对“AI建站仅限简易页面”的固有印象。
保护我们的自由及开源软件（FLOSS）公共资源免受大型语言模型（LLMs）的侵害
开源代码托管平台 Codeberg e. V. 的成员投票通过了两项与 AI 相关的动议：一是承诺不会将用户数据用于训练 LLM，二是修改服务条款以禁止“氛围编码”（vibe-coded）项目。此举反映了 LLM 技术正对开源基础设施和社区生态造成实质性压力。
Misc. bug: `reasoningEffort` not pre-settable in the json web ui options
用户在使用 llama.cpp 的 llama-server 模块启动 WebUI 时，希望通过 json 配置文件（如 `config.json`）预设默认的推理深度选项（例如 "low"、"medium"、"high"），但发现 json 选项中仅有 `enableThinking`（布尔值，控
Misc. bug: UI Feedback: Reasoning button visibility & disconnected Developer Settings
用户在 Windows 上运行 llama-server.exe （来自 ggml-org/llama.cpp 工具），通过命令行指定了 --reasoning on --reasoning-budget 8192 启动参数，用于支持 Gemma 4 等需要推理层级触发的模型。打开 WebUI 后发
小红书HELMSMAN：全闪存服务器实现高性能向量检索，硬件成本节省超90%
小红书在OSDI 2026上发表了HELMSMAN系统，用约40台全闪存服务器取代了此前约35000 CPU核心和350TB DRAM的配置，在满足毫秒级延迟的前提下，将向量检索的硬件成本削减了超过90%，同时吞吐能力相比传统方案提升了2-16倍。这一技术路线可能改变大规模在线搜索、推荐系统对昂贵内存的依赖。
RuntimeError: Already borrowed
该报错出现在 vLLM 服务化部署 Qwen3.5-122B-A10B-FP8 等大型 MoE 模型时，当大量并发请求（尤其是包含 image_url 内容的多模态请求）通过 /v1/chat/completions 接口发送，导致 EngineCore 进程崩溃。同一并发量下纯文本请求可以稳定运行
RuntimeError: This GEMM is not supported!` during CUDA graph capture. This does not occur with the older AITER version (v0.10.post2).
在 vLLM 主分支（commit 55d037e2e5cc56c38a1a4a77a15c347fee380c50 ）环境下，使用 ROCm 平台（GPU: gfx942/MI300X）部署 DeepSeek-R1 模型，设置环境变量 VLLM_ROCM_USE_AITER=1 和 VLLM_US
feat: first-class support for BaseRT as a local inference provider
用户在 Open WebUI 中连接本地运行的 BaseRT 推理服务时，遇到以下问题：