标签: 大模型

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

开发者 Jon Ready 发布了 vllm-ios,把大模型推理框架 vLLM 的连续批处理机制移植到 iPhone 原生 Swift 环境,在 MLX 上实现 8 个 AI 智能体并发推理,速度比 llama.cpp 快 88%。这意味着移动端跑本地大模型不再是简单的“单聊天”,而是真正开始支持多智能体协…

生产前如何评估LLM?

生产前如何评估LLM?

GitHub 团队在将 LLM 用于 secret scanning 时发现,基准测试表现好不等于生产环境可靠,并据此总结出一套以产品决策为导向、离线评估当作集成测试的大模型上线前评估方法。

如何在编辑器里实时挑选最佳 AI 模型

如何在编辑器里实时挑选最佳 AI 模型

OpenRouter 发布了一套通过 MCP 服务器在代码编辑器内实时挑选 AI 模型的框架——不再依赖过时的排行榜,而是结合当下使用数据、第三方评测和实际测试提示词,按“单次任务成本”而非“单 token 价格”来做选择。