一句话看懂：淘宝 MNN 团队开源约 3 亿参数的端侧轻量模型 MNN-Pocket-0.3B，宣称在 iPhone 18 Pro 上完全离线解码可达约 350 token/s，峰值内存控制在 300MB 以内，指向手机本地跑大模型的可行路径。
事件核心：发生了什么
2026 年 11 月 6 日，淘宝 MNN 团队宣布开源 MNN-Pocket-0.3B。该模型约 300M 参数，面向手机等移动设备的算力与内存预算设计。团队给出的实测数据包括：iPhone 18 Pro 全离线运行平均解码约 350 token/s；iPad Pro M5 Metal 后端下 Prefill 达 8,721 token/s、Decode 达 466 token/s。INT4 部署文件仅 173MB，测试配置下峰值内存增量 228MB；相比同条件下的 Qwen3-0.6B，部署体积缩小约 49%，内存增量降低约 47%。
为什么重要
端侧部署的难点不在于模型能不能跑，而在于速度、内存和功耗能否同时守住。这次公开的数据把三个指标放到了同一张表上：解码速度够快、内存增量低于 300MB、在骁龙 8 Elite 设备上 100 个等效任务累计能耗约占电池容量 0.3%。团队还针对中文互联网场景把词表从约 151K 压到 64K，减少 embedding 与输出层开销。开源矩阵覆盖 Base、SFT、通用指令版、W4A16 量化部署版、DFlash2 投机解码草稿模型和决策头版本，对想在本地做微调和业务适配的开发者更友好。
不过目前公开信息显示，这些数字来自团队自测，尚不代表大规模第三方复现结果；在 11 项中英文评测中平均分 50.00、IFEval 73.20、IFEval-zh 74.59，属于特定评测条件下的对比，不宜理解为固定排名。
对用户/开发者/创作者的影响
对普通用户，隐私敏感场景下的本地问答、摘要和指令执行有望减少对云端的依赖；对开发者，MNN 推理引擎加多版本权重，降低了在 Android/iOS 上做端侧 AI 应用的原型成本；对内容创作者，离线低延迟意味着字幕整理、文本改写等轻任务可以在手机端完成，但复杂生成仍更适合云端大模型。企业若考虑采购或集成，需先验证目标机型的真实吞吐与功耗表现。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是第三方开发者能否在更多机型上复现 350 token/s 与 228MB 内存增量；二是 0.3B 规模在指令遵循之外的实际任务能力边界；三是开源版本能否形成持续的社区微调与端侧应用生态。
来源：AIbase
