华为杨浩将讲昇腾推理加速:长上下文并发提升2.5倍、吞吐提升3倍

华为高级技术专家杨浩将在 12 月 18–19 日北京 AICon 分享基于昇腾算力的大模型推理加速实践,涉及 PD 分离、投机推理与 TurboQuant 量化算子。公开的演讲提纲给出两项实测收益:1M 长序列并发从 4 提升到 10,3P1D 架构下吞吐提升 3 倍以上。

一句话看懂:华为高级技术专家杨浩将在 12 月 18–19 日北京 AICon 分享基于昇腾算力的大模型推理加速实践,涉及 PD 分离、投机推理与 TurboQuant 量化算子。公开的演讲提纲给出两项实测收益:1M 长序列并发从 4 提升到 10,3P1D 架构下吞吐提升 3 倍以上。

事件核心:发生了什么

据 InfoQ CN 报道,2026 年 AICon 人工智能开发与应用大会北京站以“探索 AI 应用边界”为主题,设置 13 个技术专题,其中“大模型推理与算力调度实践”专场由华为高级技术专家、人工智能科学家杨浩主讲《基于昇腾算力的大模型推理加速研究与实践》。他拥有北邮通信与信息系统博士学位,在搜索推荐和机器翻译领域有十年以上研发经验。

演讲以 AI Coding 长上下文场景为切入,点名昇腾推理的四个瓶颈:算力利用率低、KV Cache 开销大、首 Token 延迟(TTFT)高、多卡通信受限。实践路线包括以昇腾 A3 为主力算力落地 PD 分离、投机推理、动态批处理与分级 KV 缓存;算子层面推出基于 Hadamard 旋转域量化的 TurboQuant,支持权重近优量化和 KV 3~4bit 压缩,并通过 CANN/Ascend C 融合算子链减少 kernel 调度。提纲给出的数据是:精度不变前提下,1M 长序列并发由 4 提升至 10(2.5 倍);3P1D 架构下 TPOT 维持 30ms、TTFT 控制在 10s 内,吞吐提升 3 倍以上。

为什么重要

长上下文与 Agent 场景正在把推理成本从“单次调用”推向“上下文膨胀”,KV Cache 显存和多卡通信成为主要门槛。若上述优化在更多业务负载下稳定复现,意味着国产算力在长序列推理上的单位成本可能下降,对大模型应用落地有直接意义。TurboQuant 随 CANN 商发并进入 vLLM-Ascend 主版本,也意味着这套优化可能通过开源推理框架向外扩散,而非只停留在内部项目。

对用户/开发者/创作者的影响

对开发者而言,PD 分离、动态批处理和低比特 KV 量化是可直接借鉴的工程手段,尤其适合长文档理解、代码库级 Coding Agent 等场景。使用 vLLM-Ascend 的团队可以关注 TurboQuant 算子的集成进度。对企业采购方,A3 平台的实测数据可作为评估国产算力方案的参考,但需注意这些数字来自特定任务与配置,不能直接外推为通用性能排名。目前公开信息显示,昇腾 950 的具体适配进展尚未披露细节。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 TurboQuant 在 vLLM-Ascend 主版本中的实际可用时间与精度表现;二是 1M 长序列和 3 倍吞吐数据能否在更多模型、更多并发下复现;三是昇腾 950、异构算力池化与训推一体的落地节奏,这会决定国产算力在 Agent 长任务场景中的竞争力。

来源:InfoQ CN

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注