Lafa 流量语言模型:8B 参数,推理吞吐达同质量 AR 模型 2.54 倍

研究者提出 Lafa 系列连续流语言模型,把预训练自回归模型改造成分块并行生成的流量模型,论文摘要称 7B 设置下吞吐约为同质量 AR 的 2.54 倍。它代表大模型推理加速的一条新路线,但仍属论文阶段。

一句话看懂:研究者提出 Lafa 系列连续流语言模型,把预训练自回归模型改造成分块并行生成的流量模型,论文摘要称 7B 设置下吞吐约为同质量 AR 的 2.54 倍。它代表大模型推理加速的一条新路线,但仍属论文阶段。

事件核心:发生了什么

根据 alphaXiv 上 2026 年 10 月 20 日发布的论文摘要,研究团队推出 Lafa(Large flow language model),在 0.5B、7B、8B 三个规模上训练,token 用量少于 300 亿。其做法是:每块内并行去噪连续 token 嵌入,块与块之间保持因果生成,前缀使用因果注意力并复用 KV 缓存。7B 版本从 Qwen2.5 Instruct 初始化,8B 版本从 Qwen3 Base 初始化,训练中同时保留自回归预测。

为什么重要

传统大模型每个 token 都要串行前向,推理速度受限。Lafa 试图用连续流取代离散扩散,实现块级并行解码;由于保留了自回归预测头,模型可以用自身预测校验草稿,无需外挂验证器。摘要称,流量训练甚至能通过多 token 预测效应维持或提升预训练 AR 能力。若这一路线可扩展,将直接冲击“大模型必须逐 token 生成”的默认假设。

对用户/开发者/创作者的影响

目前公开信息显示,Lafa 仍是论文成果,没有可见的 API 或开源产品。对开发者而言,其意义在于探索低延迟推理和更低的算力成本;对应用侧,若后续落地,聊天、代码补全等场景的响应速度可能改善。但评测仅限于摘要提到的指令遵循、推理和编程任务,不能视为通用能力已全面超越 AR 模型。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开代码和权重,以及 8B 模型在真实服务中的吞吐表现;二是分块并行对长文本和工具调用场景是否稳定;三是这类连续流路线能否吸引更多团队跟进,形成与离散扩散、投机解码并行的加速生态。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注