Misc. bug: Can’t use longer context than model via RoPE due to server-imposed restrictions

快速结论：当使用 --rope-scaling yarn --rope-scale 4 等参数试图扩展 llama-server 的上下文窗口时，llama-server 会检查模型元数据中的原始 context_length，并强制把上下文截断回训练长度（如 4096），导致长上下文请求失败。优先排查方向是使用 --override-kv 参数显式覆盖模型的 context_length 元数据。

适用环境：llama.cpp 版本 716（commit 10e9780），Linux x86_64 系统，llama-server 模块，GCC 13.3.0 编译环境；涉及 GGUF 模型元数据以及 YaRN/RoPE 缩放参数。

最快修复方案：使用 --override-kv <架构名>.context_length=int:16384 参数显式覆盖模型的 context_length 元数据。例如：llama-server -m ./model.gguf -c 16384 --override-kv llama.context_length=int:16384（架构名需替换为模型实际架构，如 llama、mistral 等）。该方案已在 Issue 评论中确认有效。

注意事项：此方案只是绕过服务器端检查，并不保证模型在超过原始训练长度后仍能保持输出质量和语义连贯性；本质问题是 GGUF 元数据与实际训练参数不一致。官方建议将正确的 YaRN 参数直接写入 GGUF 元数据，而不是依赖命令行参数。

问题场景

用户运行 llama-server 时，通过 --rope-scaling yarn --rope-scale 4 尝试将上下文长度从模型的 4096 扩展到 16384。尽管命令参数被正常接收并生效（RoPE 缩放确实改变了模型行为），但 llama-server 内部的硬性检查（由 commit cd5e3b57 引入）会在加载模型时读取 GGUF 元数据中的 context_length，发现用户请求的上下文（16384）超过训练上下文（4096）后，强制把 slot 上下文截断为 4096，导致长上下文的推理请求失败。

报错原文

the slot context (%d) exceeds the training context of the model (%d) - capping

Misc. bug: Can't use longer context than model via RoPE due to server-imposed restrictions

原因分析

可能原因：llama-server 在 cd5e3b57 提交中加入了保护机制，在加载模型时检查请求的上下文长度是否超过 GGUF 元数据中声明的 context_length。这个检查并不感知 --rope-scaling 和 --rope-scale 参数——RoPE 参数本身有效（并非被忽略），但无法突破元数据中设定的硬上限。对于使用 YaRN/RoPE 探索超过原始训练长度的用户来说，这个限制是多余的，因为 RoPE 缩放正是为了安全扩展上下文而设计的。

另外值得注意：YaRN 等扩展方法需要正确的缩放因子元数据才能发挥最佳效果。如果 GGUF 中缺少对应的 YaRN 参数，仅靠命令行参数无法完整表达所需的扩展配置，因此社区推荐把正确的扩展参数直接写入 GGUF 元数据。

环境排查

确认 llama.cpp 版本（示例中为 716 / 10e9780），建议升级到包含修复的最新版本。
确认所用模型的 GGUF 架构名（如 llama、mistral、falcon 等），可通过 --override-kv 帮助信息或 GGUF 查看工具获取。
检查 GGUF 元数据中 context_length 的原始值及是否包含 rope.scaling 相关字段（rope.scaling.type、rope.scaling.factor、rope.scaling.original_context_length 等）。
确认系统 Python/CUDA/PyTorch 环境是否满足 gguf-py 及 GGUF Editor 的运行要求（如使用 GUI 工具写入元数据时）。

解决步骤

方案一（优先尝试）：使用 --override-kv 覆盖模型的 context_length 元数据。先通过 llama-server --help 或 gguf-py 工具确定模型架构名，然后运行：
llama-server -m ./model.gguf -c 16384 --rope-scaling yarn --rope-scale 4 --override-kv <架构名>.context_length=int:16384
方案二（推荐长期方案）：直接把正确的 YaRN 元数据写入 GGUF 文件。使用 GGUF Editor 或 llama.cpp 自带的 gguf_editor_gui.py，在元数据中添加 rope.scaling.type=yarn、rope.scaling.factor=4.0、rope.scaling.original_context_length=4096 等字段，并同步更新 context_length 为目标值。保存后重新加载模型。
行为验证时的附加建议：如果只是临时测试，可接受日志中出现的 capping 警告；若需要确认上下文长度确实扩展到目标值，可在服务器输出中检查实际启用的 context 值，或使用 /props 接口查看当前上下文设置。

验证方法

执行上述任一方案后重启 llama-server，观察启动日志中是否仍出现 the slot context ... exceeds the training context 警告。若警告消失，且通过 API 发起长度超过原上下文（如 4096 tokens）的请求能够正常返回完整结果，则说明问题已解决。如果修改了 GGUF 元数据，可以用 llama-server --override-kv 检查或使用 GGUF 查看工具确认字段已正确写入。