Mac Studio M5 Ultra实测DeepSeek V4.1 Flash:1M上下文首token约9.2分钟

2026年11月22日,有开发者在Mac Studio M5 Ultra(512GB统一内存)上实测DeepSeek-V4.1-Flash-1017的MLX无损服务版本,1M上下文下decode仍约65 tok/s,但冷启动首token耗时约9.2分钟,长上下文推理的门槛被具体量化。

一句话看懂:2026年11月22日,有开发者在Mac Studio M5 Ultra(512GB统一内存)上实测DeepSeek-V4.1-Flash-1017的MLX无损服务版本,1M上下文下decode仍约65 tok/s,但冷启动首token耗时约9.2分钟,长上下文推理的门槛被具体量化。

事件核心:发生了什么

发帖者在V2EX公布了单机Mac Studio(M5 Ultra、512GB)运行DeepSeek-V4.1-Flash-1017的测试结果,在原帖256K基础上补充了512K与1M两档。测试使用约1,048,064 token提示,为模型1,048,576窗口中的512个生成token留位;生成、prefill与首token均取中位数,512K和1M各跑两次。

关键在于速度曲线分化:decode几乎不随上下文变慢,中位数稳定在64–74 tok/s,1M档为65.2,与256K的64.0接近;prefill则从32K的4,208 tok/s逐步降至1M的1,890 tok/s,仅为峰值45%。首token方面,1M冷启动约553.8–555.9秒,512K约3.2分钟。全程内存峰值327.8GB(权重309.4GB),未触发swap。

为什么重要

这组数据把“本地跑长上下文大模型”从概念拉到了工程层面:decode不衰减说明生成阶段对上下文长度不敏感,而prefill和首token的陡增则暴露了长提示处理的真实成本。对考虑用统一内存硬件替代多卡服务器的团队来说,1M上下文可用,但交互式体验会明显受限。目前公开信息显示,测试对象是社区微调与推理方案,并非DeepSeek官方发布的产品规格。

对用户/开发者/创作者的影响

开发者可据此取舍场景:长文档摘要、离线代码库分析这类可接受数分钟首响的任务适合1M档;实时对话、Agent循环则应控制在256K以内。创作者若有大规模素材检索需求,decode速度足以支撑持续输出,但需为首次加载预留等待时间。企业采购层面,单机大内存方案省去多卡互联,但冷启动延迟需纳入工作流设计。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是prefill优化能否压低1M首token,例如分块缓存或Engram类方案;二是社区能否复现512K与1M各跑两次的稳定结论;三是DeepSeek后续官方版本或MLX工具链更新是否改善长上下文吞吐。发帖者也提到与更早帖子对比存在版本与测试顺序差异,相关结论仍需更多样本验证。

来源:V2EX (创意工作者社区)

celebrityanime
celebrityanime
文章: 36681

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注