快速结论:这个报错表现为长文档通过服务端 API 提交后,prompt_eval_count 固定停在 65,538,输入加倍也不变,而 done_reason 仍是 stop。原报告最终被确认是混用了引擎:模型并未由 Ollama 加载,而是由 llama-server 在 8099 端口提供,因此优先排查“到底是谁在提供这个模型”,而不是调 Ollama 参数。
适用环境:Report 中的环境为 Ollama 0.34.1、模型 flint-40B-A2.5B-Q4_K_M.gguf、context window 147,456、2×16 GB GPU、62 GB 系统内存、Linux、未设置任何 OLLAMA_* 环境变量。评论中另验证了 Ollama 0.40.16 与 qwen2.5:3b,并经 /api/chat、/v1/responses 测试。注意 flint 架构在 0.34.1 下不被支持。
最快修复方案:暂无确认的一步修复方案。Issue 中已验证的处理方式是先确认服务端进程:0.34.1 无法加载 flint 架构,报错为 unknown model architecture: 'flint';确认模型由哪个进程监听对应端口,避免把 llama.cpp 的行为归到 Ollama。
注意事项:原报告的 65,538 数字并非来自 Ollama,Issue 已据此关闭。评论中在 0.40.16 上通过 /api/chat 仍观察到固定为 16,386 的计数,且无警告;而 /v1/responses 会返回超限错误。该 /api/chat 行为是否属于静默截断,作者本人也明确表示尚未确认,需以 llama.cpp 侧排查为准。
问题场景
用户向本地推理服务的 API 发送超过 100,000 token 的长文档(实测输入为 300,000 与 600,000 字符),通过 /api/chat 请求读取文档末尾的“secret word”。两次运行返回的读取 token 数完全相同,均为 65,538,且 done_reason 为 stop,HTTP 返回 200,没有任何截断提示。用户最初以为请求发给了 Ollama,因为日志文件头写的是“OLLAMA”;但后续查证发现,flint 模型实际由 llama-server 在 8099 端口提供服务,日志文件名本身为 qwen27_llamacpp_8099.jsonl。
报错原文
Silent truncation at 65,536 tokens: 600k chars in, 65,538 tokens read, done_reason=stop, context window was 147,456
Ollama 0.34.1 加载 flint 模型时报错:
Error: 500 Internal Server Error: llama-server process has terminated: exit status 1: error loading model: unknown model architecture: 'flint'
error loading model: unknown model architecture: 'flint'
Ollama 0.40.16 超上下文时返回:
request (175165 tokens) exceeds the available context size (147456 tokens), try increasing it
原因分析
最可能的原因:报告中的行为不来自 Ollama。flint 架构在 0.34.1 中不被识别,模型无法由该版本 Ollama 加载;实际响应来自 llama-server 进程,因此 65,538 这个上限是 llama.cpp 侧的测量结果,而非 Ollama 的上下文处理结果。
另一可能原因:客户端所用 API 端点不同,导致长输入处理方式不同。评论中在 0.40.16 上实测,/v1/responses 会明确返回超出上下文大小的错误,而 /api/chat 在相同输入下计数固定、无警告。作者本人也说明,尚不确定这是真正的静默截断、测量方式问题,还是服务端配置问题。
还需注意:不能仅凭日志头部的自定义标签判断请求发给了哪个服务端,应以监听端口和进程为准。
环境排查
- 确认实际监听 API 端口的进程:是
ollama还是llama-server,并核对端口号(本 Issue 中为 8099)。 - 确认 Ollama 版本是否支持所用模型架构;0.34.1 不支持 flint,加载即失败。
- 确认模型是通过 Ollama 库拉取运行,还是直接以 GGUF 交给 llama.cpp 运行。
- 确认使用的 API 端点:
/api/chat与/v1/responses在超限行为上表现不同。 - 确认
num_ctx的设置值,并与响应中的prompt_eval_count对比;本 Issue 中窗口为 147,456,但读取数为 65,538。 - 检查服务端日志,而不是只看自己写的日志头标签。
解决步骤
- 用
ollama -v查看当前版本,并记录实际调用 API 的端口。 - 确认对应端口由哪个进程提供服务;若为 llama-server,则相关行为应转到 llama.cpp 侧排查,不应按 Ollama 故障处理。
- 若确实使用 Ollama,先验证该版本能否加载目标模型。0.34.1 加载 flint 会直接报
unknown model architecture,此时应先升级到支持该架构的版本(评论中 0.40.16 可加载 flint)。 - 在支持的版本上,用同一文档分别测试
/api/chat和/v1/responses,观察prompt_eval_count、done_reason与error字段。 - 对超过上下文窗口的输入,检查响应是否返回
request ... exceeds the available context size ...一类显式错误;若期望严格失败而非静默处理,可优先使用/v1/responses。 - 若确认问题仍出现在 llama.cpp 侧,重新核对测量方法、服务端配置与上下文参数后,再向 llama.cpp 项目提交报告。
验证方法
在文档最后一行放入唯一标记句(如“the secret word is MARMOLINA”),读取响应中的 prompt_eval_count 而非只看回答文本。验证标准:确认服务进程与版本后,输入 token 数随文档增长而变化并被正确统计;输入超出 num_ctx 时,应收到明确的超限错误,而不是固定计数配 done_reason: stop。评论中的对照结果是:0.40.16 经 /api/chat 读取 140,658 token 且正确答出标记句;输入达到 175,165 token 时返回超上下文错误。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


