一句话看懂：Linkerd背后的Buoyant于2026年11月发布开源项目Kinference v0.1.0-alpha.7，为Kubernetes与vLLM提供推理控制平面，重点优化有共享前缀的请求路由。
事件核心：发生了什么
Buoyant发布的Kinference是一个Apache 2.0许可、用Rust编写的推理控制平面，位于vLLM worker集群前端，负责请求路由决策。它把路由策略、Token限流、KV-cache感知负载均衡和按租户指标集中在一层，通过5个Kubernetes CRD配置，并提供gRPC接口与Buoyant Gateway等代理配合。Buoyant自测显示，在3块L40S GPU、3个vLLM 0.31.0 Pod、模型为Qwen3.8-27B-FP8的条件下，共享前缀负载的中位TTFT从6.88秒降至0.31秒，多轮对话从1.70秒降至0.59秒；无共享前缀的对照负载则无显著差异。
为什么重要
当前开源模型推理的竞争正在从模型服务器本身转向其上层调度。vLLM解决单机或单池的高吞吐问题，但在多租户、多模型、多客户场景下，谁来路由、限流和做缓存感知，仍缺少标准化方案。Kinference切入的正是这一层，与llm-d、NVIDIA Dynamo、vLLM Production Stack形成直接对照。它的差异化在于用策略声明式描述路由规则，并以预测TTFT作为多数规则的优化目标。
对用户/开发者/创作者的影响
对在Kubernetes上自建vLLM推理服务的团队，Kinference提供了可离线校验的策略配置方式（kinfctl CLI），策略可纳入git管理，适合需要按租户隔离、PII本地化或忙时溢出到云端供应商的内部平台。但需注意：项目仍处alpha阶段；上述性能数据为Buoyant自报，基线是随机路由的Kubernetes Service，而非llm-d等缓存感知路由器；其SLO（8秒和4秒）面向离线Agent场景，并非聊天场景。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是项目能否从alpha走向稳定版本，以及SGLang、TensorRT-LLM等引擎支持是否落地；二是是否有第三方在相同条件下复现其TTFT与goodput数据；三是与llm-d、Dynamo在真实多租户生产环境中的对比结果。
