一句话看懂：开发者 @Delroy715 于 2026 年 11 月 5 日发布实测记录，称在 Colab G4 实例（96GB 显存 + 188GB 内存）上，以 2-bit 量化方式运行 748B 总参数的 DeepSeek-V4.1-Flash-1017，并部署为私人 API。真正值得关注的不是速度本身，而是测试中意外暴露出 196B Engram 记忆表的作用。
事件核心：发生了什么
据该开发者描述，他将 Unsloth 与 Abiray 两个 2-bit 量化版本装入 G4 的显存与 DDR5 内存，实现零磁盘 Swap，流式输出约 47–52 tok/s；并通过网关与 Cloudflare 固定隧道，把服务开放为可切换双模型的私人 API，相关启动脚本已公开。由于 G4 本地 NVMe 约 205GB 放不下完整权重，他将 196B 的 Engram 分片仅保留 128KB 文件头、其余置零。Unsloth 文档称删除 Engram 对跑分无影响，但生成 SVG 代码时出现标签拼写错误、图形抖动等异常，修正后画面恢复正常。这提示 Engram 并非对生成质量毫无作用。需注意，上述结果来自个人实测，只在特定日期、特定量化和“Engram 置零”条件下成立。
为什么重要
当前公开信息显示，开源大模型的竞争正从“参数规模”转向“权重结构与部署效率”。社区量化版本不断压低门槛，让 748B 级模型在单卡消费级或云 GPU 上变得可运行。这次测试的价值在于：它把“跑通”与“跑好”的差距具体化了——骨干网络决定推理知识和表达框架，Engram 记忆表影响代码与细节的准确性。若后续能把完整 Engram 放进内存缓存，单卡部署大模型的质量边界会进一步清晰。
对用户/开发者/创作者的影响
对开发者而言，个人 API 不必绑定闭源服务，量化、网关、隧道这一套流程具备可复现性；但生产场景需谨慎：置零 Engram 的版本适合问答和逻辑推理，直出数百行前端代码时仍会出现拼写类瑕疵。对创作者来说，本地私有 API 意味着更低成本和更高隐私，但输出质量取决于量化方案与部署配置，不宜把单次评测视为长期排名。对企业采购者，这类尝试提示算力预算可以更多转向内存与显存配比，而非单纯堆 GPU 卡数。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是作者预告将实测“72GB 骨干全进显存 + 110GB 完整 Engram 全进内存”的方案，能否根治代码笔误并进一步提速；二是两个 2-bit 量化版本在真实编程任务中的稳定性数据；三是社区是否会跟进，给出更系统的 Engram 作用评测。
来源：@Delroy715
