腾讯开源AngelSpec:用于Hy3模型上MTP与块并行推测解码的统一训练框架

腾讯开源了名为AngelSpec的训练框架,专门用于在Hy3模型上实现多token预测(MTP)和块并行推测解码。这意味着大模型推理加速技术从“单点优化”进入“训练-推理联合设计”阶段,开发者可以直接复用该框架来降低Hy3系列模型的部署延迟。

一句话看懂:腾讯开源了名为AngelSpec的训练框架,专门用于在Hy3模型上实现多token预测(MTP)和块并行推测解码。这意味着大模型推理加速技术从“单点优化”进入“训练-推理联合设计”阶段,开发者可以直接复用该框架来降低Hy3系列模型的部署延迟。

事件核心:发生了什么

腾讯在2026年7月底通过MarkTechPost Research对外宣布,正式开源AngelSpec——一个统一训练框架,目标是将MTP(Multi-Token Prediction,多token预测)与块并行推测解码(Block Parallel Speculative Decoding)两种推理加速技术,整合到Hy3模型的训练流程中。目前公开信息显示,该框架已经在腾讯内部Hy3模型上验证,并已发布到开源社区。这是行业内少数从“训练阶段”直接植入推测解码能力的开源方案之一,而非像以往那样仅通过后处理或独立的辅助模型来加速。

为什么重要

推测解码是当前大模型推理加速的主流方向之一,但此前大多数实现依赖“训练一个独立的草稿模型”或“在推理时动态生成候选序列”,这些方法会增加部署复杂度和额外显存开销。AngelSpec的创新在于将MTP和块并行推测解码直接融入Hy3模型的训练目标,使得模型自身学会更高效地生成连续token块,从而在推理时无需额外草稿模型即可获得2~5倍的加速效果(根据行业类似方案推算)。对于大模型在生产环境中的服务成本(尤其是GPU推理时长)而言,这一方向可能带来实质性压缩。同时,腾讯选择开源,有助于Hy3模型生态的建立,也可能推动其他模型厂商跟进训练-推理一体化的范式。

对用户/开发者/创作者的影响

对开发者:如果你正在使用或计划部署腾讯的Hy3系列模型,AngelSpec提供了现成的训练脚本和配置,可以直接基于自己的数据微调,让模型默认获得推测解码的加速能力,而无须额外搭建草稿模型或适配推理框架。这意味着你可以在更少GPU卡上支撑相同QPS的用户请求。对普通用户和创作者:如果应用方使用了经过AngelSpec训练的Hy3模型,用户感知到的是更快的响应速度(尤其在长文本生成场景下),而开发者付出的训练代价仅在单次训练时增加少量计算,推理端则可复用现有硬件。对行业:开源降低了GPU集群的准入门槛,但加速效果高度依赖Hy3模型的架构配合,其他主流模型(如Llama、Qwen)若要直接复用可能需要进行适配。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 开源仓库的实际使用反馈:AngelSpec的GitHub页面(预计近期上线)是否有详细文档、示例数据集和基准测试结果,将直接影响开发者是否愿意迁移到Hy3生态。2. Hy3模型的社区普及度:目前Hy3模型在中文社区的认知度尚不如Qwen和DeepSeek,AngelSpec能否带来一批新用户,取决于腾讯是否同步开放Hy3基础模型权重与商业授权条款。3. 竞品反应:Meta、阿里、字节等也都在探索推测解码的训练集成,AngelSpec的推出可能加速行业在2026年下半年形成类似“训练即加速”的标准化做法,届时不同框架的兼容性与性能对比将成为关键竞争点。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 16005

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注