一句话看懂：开源项目 Ollaya 在本地运行“决策模型”，用一次前向推理直接给出带概率的结构化答案，并兼容 TypeSafe 的 API 接口。它把 AI 的用途从“生成文本”拉回到“做判断”，而且数据不用离开自己的机器。
事件核心：发生了什么
Ollaya 是一个本地优先的开源运行时，主张用“决策模型”替代逐 token 生成。你向它提交文本或 JSON，并提出带类型的问题（选择题、打分、是/否），模型在单次前向计算后返回答案、概率和置信度。官方示例显示，在 RTX 4090 上，五个问题经 HTTP API 端到端约 10 毫秒；模型列表里 laya:multilingual 中位延迟 8.1 毫秒，decider:2b 约 190 毫秒，作为对照，托管 API TypeSafe Jev 的中位请求为 236–276 毫秒。Ollaya 同时开放 /v1/systemone 和 /v1/models，请求响应格式对齐 TypeSafe，官方称其 Python SDK 0.7.1 可原样指向本地服务器。当前内置模型包括 Convai Innovations 的 laya、Mapika 的 decider、Moritz Laurer 的 nli、Knowledgator 的 gliclass、Qwen 团队的 qwen3guard 等，权重从 Hugging Face 拉取并校验 sha256，运行时采用 Apache-2.0。
为什么重要
主流大模型走的是“生成”路线，成本随输出长度增长，且答案难以直接量化。Ollaya 押注的是另一条路径：用小型专用模型做分类和打分，一次推理出结果，延迟低、可设阈值、概率可校准。这在路由、审核、工单分类等场景里比通用大模型更合适。更关键的是它兼容 TypeSafe API——如果开发者已经在用 Jev 风格的托管服务，迁移到本地几乎没有改造成本，这对在意数据隐私和 API 账单的团队是个现实选项。目前公开信息显示，这类“决策模型”生态仍处于早期，模型规模和精度尚不能覆盖所有判断任务。
对用户/开发者/创作者的影响
开发者可以直接用 TypeSafe SDK 或 curl 调用本地端点，把分类、意图识别、风险判断嵌入现有流程，不必为每次调用付费。企业用户可以把工单、邮件、用户消息留在本地或自有 GPU 上处理，避免敏感数据外传。对内容创作者和产品团队来说，它更适合做内容审核、标签和路由，而不是写作本身。需要注意，模型权重来自第三方作者，硬件和部署仍需自行维护。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Ollaya 是否推出 GGUF 版本、借 llama.cpp 支持更多消费级硬件；二是 TypeSafe 兼容能否长期跟上官方 SDK 的迭代；三是这些开源决策模型在真实业务中的准确率和校准表现，是否有第三方基准验证。
来源：ollaya.dev
