标签: 大模型

STEPQuant:Delta规则循环状态量化的时空精度分配方案

STEPQuant:Delta规则循环状态量化的时空精度分配方案

研究者提出 STEPQuant,一种针对 Delta 规则循环状态的时空后训练量化框架,在名义 6-bit 预算下让量化状态精度接近 FP32,并在 4-bit 配置下优于统一 INT8;集成到 SGLang 后可将循环状态压缩超过 5 倍,服务总内存最高减少 68.7%。该工作目前仅为论文摘要信息,尚未核验…