Yeschef:Claude Code 向我局域网上的 Ollama 派发任务(3 台 NUC 达 627 tok/s)

开源项目 Yeschef 让 Claude Code 和 Codex 能调用你局域网内闲置的 GPU 机器,把本地 Ollama、vLLM 等模型变成“后厨”,实测 3 台 NUC 小主机集群可跑出 627 tok/s,既省 API 费用又绕开限流。

一句话看懂:开源项目 Yeschef 让 Claude Code 和 Codex 能调用你局域网内闲置的 GPU 机器,把本地 Ollama、vLLM 等模型变成“后厨”,实测 3 台 NUC 小主机集群可跑出 627 tok/s,既省 API 费用又绕开限流。

事件核心:发生了什么

开发者社区在 GitHub 上发布了名为 Yeschef 的开源工具,定位是“Claude Code 和 Codex 的厨房”。它通过 MCP/HTTP 协议将 Claude Code 发起的大批量、低难度任务(如日志分类、摘要、信息抽取)派发给用户自有硬件上的本地模型处理。整个架构由一个装有 SQLite 数据库的 hub 中枢和多个 cook(执行节点)组成,cook 节点可以跑在 Ollama、vLLM、LM Studio 或任何兼容 /v1 接口的推理服务上。

安装只需两条命令:在运行 Claude Code 的主机上执行 yeschef up 生成令牌,在每台算力机器上执行 yeschef join --hub http://hub-host:8787 --token <printed-by-up> 完成接入。任务以 ticket 形式持久化在 SQLite 中,支持跨会话、跨机器查询结果。项目作者在演示中展示了 3 台 NUC 组成的本地集群能达到 627 tok/s 的处理速度,并支持两个本地模型在受约束的“房间”内进行多轮对话协商,人类可随时介入打断。

为什么重要

这件事的行业意义在于它直接回应了当前 AI 开发工作流中的一个真实痛点:订阅制 API 的 token 成本与速率限制。程序员在 Claude Code 中处理海量文本清洗、数据标注等“脏活”时,既消耗昂贵额度又容易触发限流,而本地 GPU 却长期闲置。Yeschef 用工程化方式把这部分负载剥离到局域网内部,理论上实现了“边际成本为零”的推理。

更值得注意的是它对本地模型生态的重新定位——不是取代前沿大模型,而是作为与闭源模型协同的“执行层”。这种“混合推理”思路可能为本地算力利用提供一条新路径。项目同时兼容 Ollama、vLLM、LM Studio 等主流推理框架,覆盖了从消费级 NUC 到专业 GPU 服务器的硬件跨度,且同时支持 Claude Code(HTTP MCP)和 Codex(stdio 桥接)两种客户端,具备一定的生态通用性。

对用户/开发者/创作者的影响

对于重度使用 Claude Code 或 Codex 的开发者,最直接的变化是能把手头的本地硬件重新变成生产力资源。你不再需要为一个简单的文本分类任务付出 API 调用费用,也不用在长时间批量任务时占用会话窗口。任务被投递到后台后,随时可以从任意终端查询状态,即便隔天回来也能取回结果,这改变了以往“长任务必须阻塞等待”的工作模式。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于有本地模型运营经验的团队,这个项目提供了一种轻量级的任务编排框架,支持多模型在有限轮次中对话并输出可回放记录,可用于测试不同模型协作时的表现。对于普通创作者而言,目前该工具主要面向命令行和代码场景,使用门槛偏高,更适合具备一定技术背景的用户。

值得关注的后续

目前公开信息显示,该项目仍处于早期阶段。值得重点观察的方向有三点:其一,ticket 持久化机制的稳定性——SQLite 在高并发任务下的表现尚未有大规模验证;其二,本地模型与 Claude 主模型之间的能力边界,即复杂指令下本地模型是否频繁“跑偏”导致需要人工兜底;其三,既然项目定位为开源,其代码审查进度和社区贡献活跃度,将直接决定它能否从个人工具演变为被更多人接受的本地算力编排标准。此外,后续是否会增加对 Windows 原生的 GPU 调度优化,以及是否支持非 Ollama 系显卡(如 AMD、Intel),也是影响硬件普及面的关键变量。

来源:HN Algolia · AI 24h

celebrityanime
celebrityanime
文章: 20304

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注