基于AMD GPU的vLLM中的推测性解码

基于AMD GPU的vLLM中的推测性解码

vLLM 官方发布博客,公布了推测性解码在 AMD Instinct MI300X 和 MI355X GPU 上的实测结果。这项技术试图在不改变模型输出行为的前提下,让大模型推理不再一次只生成一个 Token,从而提升吞吐量,但它并非在所有模型和工作负载下都能稳定加速。