标签： LLM

用户在使用 llama-server 启动模型服务后，通过浏览器访问内置的 WebUI（PWA）界面时，界面完全损坏（fully broken），无法正常显示和操作。该问题在浏览器端复现（Firefox 和 Chromium 均受影响），且与 llama-server 版本有关。

用户在 NVIDIA GB10/DGX Spark (SM 12.1) 平台上运行 vLLM，加载 Qwen3-Next 混合 Mamba/Attention MoE 架构模型（如 `nvidia/Qwen3.6-35B-A3B-NVFP4`），配置了 `--kv-cache-dtype fp8`（

腾讯在2026年AICon深圳站上披露了其统一多模态强化学习框架UniRL，该框架通过架构解耦、自研算子FalconGEMM和训推一致性方案，解决了Diffusion RL与LLM RL在基础设施层面的本质差异，实现了端到端2.4X的性能提升，并将在8月21-22日的大会上详解全链路工程实践。

用户在 llama.cpp 的 llama-server 中启用上下文 checkpoint 功能，运行长时间 Agent 工作流（连续多轮对话，上下文长度约 138K token）。关键参数： llama-server --ctx-checkpoints 8 --checkpoint-min-st

用户按照 vLLM 官方文档中 GGUF 的示例运行 vllm serve 命令时，未指定 --dtype 参数，导致启动失败。具体用例为加载 unsloth/Qwen3-0.6B-GGUF:Q4_K_M 这一 Hugging Face 模型。