标签: DeepSeek

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

vLLM-iOS:iOS 端 Multi-Agent 推理速度提升 88%

开发者 Jon Ready 发布了 vllm-ios,把大模型推理框架 vLLM 的连续批处理机制移植到 iPhone 原生 Swift 环境,在 MLX 上实现 8 个 AI 智能体并发推理,速度比 llama.cpp 快 88%。这意味着移动端跑本地大模型不再是简单的“单聊天”,而是真正开始支持多智能体协…

生产前如何评估LLM?

生产前如何评估LLM?

GitHub 团队在将 LLM 用于 secret scanning 时发现,基准测试表现好不等于生产环境可靠,并据此总结出一套以产品决策为导向、离线评估当作集成测试的大模型上线前评估方法。

Keenable, which is building a web search index for AI agents and says several AI labs are using its API, raised a $26M seed led by Accel (Anna Heim/TechCrunch)

Keenable, which is building a web search index for AI agents and says several AI labs are using its API, raised a $26M seed led by Accel (Anna Heim/TechCrunch)

为 AI 代理构建专用网络搜索索引的 Keenable 宣布完成 2600 万美元种子轮融资,由 Accel 领投,并透露已有多个 AI 实验室在使用其 API。这笔投资说明,在 AI 代理大规模调用外部实时信息的趋势下,搜索基础设施正成为新的竞争焦点。

请别再把AI生成的食物放上菜单

请别再把AI生成的食物放上菜单

美国多家熟食店、餐馆和餐车开始使用 AI 生成的菜品图片制作菜单和传单,但由于图像细节失真引发大量吐槽。这场争议背后,是互联网平台对“AI 垃圾内容”(AI slop)的整体反弹,也反映出小商家廉价营销与真实审美之间的冲突。