Perplexity 开源 Lily:为 Apple Silicon 上的 Qwen3.6-35B-A3B 打造的 Rust + Metal 推理引擎

Perplexity 将自研的推理引擎 Lily 开源,这是一款专为 Apple Silicon 设计的 Rust + Metal 方案,目的是在 Mac 上更高效地运行 Qwen3.6-35B-A3B 这类大模型。它标志着搜索公司开始向底层推理工具链延伸,也为本地 AI 运行提供了一条避开 CUDA 依赖的…

一句话看懂:Perplexity 将自研的推理引擎 Lily 开源,这是一款专为 Apple Silicon 设计的 Rust + Metal 方案,目的是在 Mac 上更高效地运行 Qwen3.6-35B-A3B 这类大模型。它标志着搜索公司开始向底层推理工具链延伸,也为本地 AI 运行提供了一条避开 CUDA 依赖的新路径。

事件核心:发生了什么

Perplexity 宣布开源其内部开发的推理引擎 Lily。该引擎使用 Rust 语言编写,并基于 Apple 的 Metal 图形 API 构建,核心目标是在 Apple Silicon 芯片(如 M 系列)上高效运行 Qwen3.6-35B-A3B 模型。Qwen3.6-35B-A3B 是阿里 Qwen 系列中的 MoE(混合专家)架构模型,参数量较大但激活参数仅为 3B,本身适合在端侧或消费级硬件上推理。Lily 相当于 Perplexity 在模型部署层的一次技术下探,试图通过贴近硬件底层的优化,把推理性能压榨到更优水平。

为什么重要

目前公开信息显示,大模型推理市场长期被 NVIDIA CUDA 生态和少数闭源框架主导,开发者想在非 NVIDIA 硬件上做高性能推理,选择并不多。Lily 开源的意义首先在于它证明了 Rust + Metal 组合也能承载 35B 级别的 MoE 模型运行,为 Apple Silicon 用户提供了一套可参考、可修改的原生推理实现。对 Perplexity 来说,这既是技术实力的展示,也是在搜索引擎之外构建开发者影响力的举措。对整个 AI 工具链而言,Lily 的出现意味着推理竞争正从云端的 GPU 集群扩展到个人电脑和本地设备,开源生态的硬件适配版图也因此增加了一块重要拼图。

对用户/开发者/创作者的影响

对开发者而言,Lily 提供了在 Mac 上直接运行大模型的实际案例与代码基础,尤其适合需要本地处理隐私数据或希望降低 API 调用成本的场景。硬件层面,这可能会提高用户升级 Mac 内存配置的意愿,因为 MoE 模型尽管激活参数少,但完整权重仍需足够统一内存承载。对普通用户和创作者来说,这一变化短期内不会直接转化为新的 AI 应用接口或爆款工具,但如果 Lily 后续被更多开源项目采纳,Mac 上有望出现更多流畅运行的本地模型应用。对于依赖云端推理的闭源服务商而言,这类本地引擎的成熟也会带来新的竞争参考维度。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

值得观察的一个点是 Lily 的性能数据是否经得起第三方基准测试的验证,特别是在不同内存规格的 M 系列芯片上,实际推理速度与官方宣称是否一致。另一个观察点是 Perplexity 是否会基于 Lily 推出面向消费者的本地搜索或问答功能,从而形成“模型 + 硬件 + 应用”的闭环体验。此外,该开源项目能否吸引社区贡献者补齐对更多模型架构或新版本 Apple Silicon 的支持,也是衡量其生态生命力的直接指标。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 21605

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注