Show HN：DeepSeek-V4 潜在推理——将思考移入潜在空间

事件核心：发生了什么

这个名为 DeepSeek-V4-Flash-0731-Latent-Reasoning 的模型，是社区开发者对 DeepSeek-V4 的一次再封装。模型主体还是 DeepSeek-V4-Flash-0731，权重被量化到 NVFP4 格式，单卡占用约 79 GiB（TP=2 时总显存需求 158–164 GiB）。核心改动在于新增了一个 35.7M 参数的“潜在推理头”（latent reasoning head），它把本应输出的思考 token 压缩成潜在向量，在模型的内部表示层完成“思考”，而不是像常见推理模型那样把思考过程逐字吐出来。

作者同时提供了一个配套的 vLLM 推理插件，并在 Hugging Face 上开源了模型文件和推理脚本。在 BIG-Bench Hard 的 27 项子任务上，使用 zero-shot CoT 评测，聚合得分 0.94（精确匹配为 0.88）；其中多步状态追踪类任务（如 tracking_shuffled_objects、boolean_expressions）表现很强，但括号匹配（dyck_languages）只有 0.26，作者承认这是真实短板。另一个细节是，该模型不会输出“The answer is X”这类固定句式，因此用 BBH 的 strict-match 正则评测会接近零分，属于格式问题而非推理失败。

为什么重要

目前主流推理模型（如 OpenAI o 系列、DeepSeek-R1）都依赖“思维链”输出，也就是把推理过程以文本 token 形式生成出来。这种方式直观、可解释，但代价是更高的推理延迟和更大的输出开销。潜在推理尝试把思考过程放到连续向量空间里，只输出最终答案，理论上能大幅节省推理 token，同时保留多步推理能力。

这次发布的工程价值在于：它证明了开源模型上也能实现“思考不进输出流”——模型仍然使用 hash 方式路由 MoE 专家，但通过注入解码后的潜在向量，绕过了 vLLM 原生不支持 embedding 路径下 input_ids 缺失的问题。这个 hack 能跑在 vLLM 的 cudagraph 快速路径上，支持并发请求批处理，说明它不是玩具 demo，而是接近可服务的形态。

对用户/开发者/创作者的影响

对普通用户来说，这类模型意味着未来使用推理 API 时，等待时间和输出 token 费用可能显著下降——你不再需要为“内心独白”付费。对开发者而言，这个项目最大的价值是展示了一套可复制的技术路径：在既有开源模型上附加一个小型推理头，再通过插件让 vLLM 正常服务，整个过程不需要重新训练大模型。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

不过目前的实用门槛不低。模型体积接近 160 GiB，普通个人开发者很难本地跑起来；评测集规模较小（每子任务 50 条，共 1350 条），泛化能力尚未充分验证；作者也提醒 MAX_LATENT 只是一个安全上限，不是“想得越深越好”，训练时见过的 K=256 之外区域可能产生垃圾输出。因此它更适合研究者和有高端 GPU 资源的团队做实验，而不是直接作为生产模型接入应用。

值得关注的后续

第一，DeepSeek 官方是否会跟进这个方向，在下一代版本中加入真正的潜在推理能力。如果官方采用，OpenAI 等闭源模型可能也会调整推理 API 的计费和延迟策略。第二，vLLM 等推理框架是否会原生支持类似机制——目前需要第三方插件注入，如果框架层提供标准接口，开发者生态会明显扩大。第三，这个潜在推理头在小规模评测上的高分数，能否在更大、更严格的基准（如 MMLU-Pro、GPQA）上复现，还有待独立的第三方评测。

来源：Hacker News · 24h最热