标签: 大模型

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

开发者 Jon Ready 发布了 vllm-ios,把大模型推理框架 vLLM 的连续批处理机制移植到 iPhone 原生 Swift 环境,在 MLX 上实现 8 个 AI 智能体并发推理,速度比 llama.cpp 快 88%。这意味着移动端跑本地大模型不再是简单的“单聊天”,而是真正开始支持多智能体协…