Support for K2 Horizon models (architecture “k2-horizon”)

快速结论：当你在 Ollama 里直接运行 Hugging Face 上的 K2 Horizon GGUF（例如 hf.co/IFM/K2-Horizon-3.7B-GGUF:Q4_K_M）时，底层 llama.cpp 还不认识 k2-horizon 这个新架构，于是 llama-server 加载模型失败。优先排查 Ollama 版本是否已包含支持该架构的 llama.cpp。

适用环境：Issue 中确认的相关环境为 Windows 11、Ollama（报错时版本低于 0.40.4）、官方 K2-Horizon-3.7B GGUF（Q4_K_M / Q5_K_M 均复现）。拉取和 SHA256 校验成功，但加载阶段失败。

最快修复方案：升级到包含对应新版本 llama.cpp 的 Ollama。Issue 中验证可用的版本为 0.40.4（含 0.40.4-rc1 预发布版），对应修复 PR 为 ollama/ollama #18917；架构层面的上游支持来自 llama.cpp PR #29535。

注意事项：必须确认安装的 Ollama 版本达到可加载 k2-horizon 的最低版本，否则会重复下载模型却加载失败。该修复随 Ollama 同步上游 llama.cpp 版本生效，不同平台的发布节奏可能不同，Windows 用户建议以实际 release 说明为准。

问题场景

用户在 Ollama 中直接通过 Hugging Face 引用运行 K2 Horizon 系列模型，例如 ollama run hf.co/IFM/K2-Horizon-3.7B-GGUF:Q4_K_M。模型下载、SHA256 校验和 manifest 写入都正常，但进入加载阶段时 llama-server 进程直接以退出码 1 终止，表现为 500 Internal Server Error。该问题在 Q4_K_M 与 Q5_K_M 量化上均可复现，报错时使用的是 Windows 11 上较旧版本的 Ollama（尚未同步支持该架构的 llama.cpp）。

报错原文

Error: 500 Internal Server Error: llama-server process has terminated: exit status 1: error loading model: unknown model architecture: 'k2-horizon'
error loading model: unknown model architecture: 'k2-horizon'

原因分析

最可能的原因是 Ollama 内置的 llama.cpp 版本过旧，无法识别 K2 Horizon GGUF 中声明的 k2-horizon 新架构。上游 llama.cpp 在支持该架构之前，同样会报出 “unknown model architecture: ‘k2-horizon’”。在 Ollama 同步到包含该架构支持的 llama.cpp 版本之前，模型无论量化精度如何都无法加载。

环境排查

用 ollama -v 确认 Ollama 版本（报错用户未提供具体版本号，但低于后续验证可用的 0.40.4）。
确认模型是否为官方 K2-Horizon-3.7B GGUF，以及所用量化（Q4_K_M、Q5_K_M 均受影响）。
确认操作系统与安装渠道（Issue 中复现环境为 Windows 11）。
检查 llama.cpp 是否已包含 k2-horizon 架构支持（上游对应 PR #29535 已合并）。

解决步骤

先运行 ollama -v 记录当前版本，确认是否低于 0.40.4。
升级 Ollama 到包含对应 llama.cpp 版本的发布版；Issue 中验证可加载 K2 Horizon 的版本为 0.40.4（预发布版 0.40.4-rc1 亦可测试），关联修复 PR 为 ollama/ollama #18917。
如急于验证，可安装 Issue 中给出的预发布版 v0.40.4-rc1 进行测试。
升级后重新运行同一命令拉取并加载模型，例如 ollama run hf.co/IFM/K2-Horizon-3.7B-GGUF:Q4_K_M。
注意：Issue 中提到的两项目标——模型自带工具调用格式解析（vLLM 有专门的 k2_horizon parser）和通过 think 暴露推理强度——属于后续增强需求，未在本次修复中明确验证完成。

验证方法

升级后运行 ollama -v 应显示包含 K2 Horizon 支持的版本（Issue 中验证为 0.40.4）。随后执行 ollama run hf.co/IFM/K2-Horizon-3.7B-GGUF:Q4_K_M 并输入 hello，如果模型能正常输出思考过程与回复（例如返回问候语）而不是报 unknown model architecture: 'k2-horizon'，即表示问题已解决。