长上下文混合模型新解:滑动窗口与线性注意力的权衡

Hugging Face Papers 2026年10月7日收录的论文《Mechanics of Long-Context Hybrid Models Part 1.1》从位置归纳偏置角度解释了混合注意力模型在长上下文中的表现差异,并提出 Sliding-Window Linear Attention 方法…

Hugging Face Papers 2026年10月7日收录的论文《Mechanics of Long-Context Hybrid Models Part 1.1》从位置归纳偏置角度解释了混合注意力模型在长上下文中的表现差异,并提出 Sliding-Window Linear Attention 方法…

2026年10月,一篇发表于Hugging Face Papers的论文摘要提出“长上下文混合模型机制”研究,试图解释全注意力与滑动窗口注意力或线性注意力混合后为何出现性能差异,并提出改进方案。

arXiv 新论文 FluidPD 提出一种面向 SLO 的预填充-解码解耦服务方案,通过让预填充与解码任务动态借用资源、就地换角色,在 Azure 生产负载上把 SLO 达成率较静态 SGLang 最多提升 94.6 个百分点。它值得关注,因为它试图解决大模型推理中“忙闲不均却无法临时调配”的老问题。

arXiv 2026年10月7日发布的一篇新论文提出 Text2Dashboard,面向 DataBrain 企业数据场景,用可审计的智能体流程把自然语言分析请求转成可检查的看板,并在小规模冻结任务上报告了初步评测结果。

10月7日 Hugging Face Papers 收录的论文提出 SGF+,把自回归视频生成中的“上下文写入”和“去噪生成”拆成两套参数,在保持因果注意力交互的前提下缓解两者梯度冲突。摘要称,仅用5秒片段训练即可支持最长24小时连续生成,视觉质量和长时一致性均有提升。

一篇新论文提出 SGF+,把自回归视频生成中“写上下文”和“去噪当前帧”两个角色拆成独立参数,在不加数据、不加训练时长的情况下同时改善画质与长时一致性。它值得关注,因为长视频生成的瓶颈可能不在算力或数据量,而在参数角色分配。

一篇新论文提出 GRACE 两阶段框架,将预训练视频自编码器压缩到更少 token,同时保持与原有 DiT 的兼容,在 480x832x81 条件下把 Wan2.1-I2V-14B 的 token 数减少 8 倍、延迟降低 11.1 倍。

2026 年 10 月 7 日 Hugging Face Papers 收录的论文提出 GRACE,一种“生成感知”的两阶段潜空间压缩方法,在不重训完整模型的前提下把视频扩散模型的 token 数量降低 8 倍、延迟降低 11.1 倍,同时声称在 VBench 上保持原有生成质量。

一篇发布在 Hugging Face Papers 的论文摘要指出,自我进化推理模型会因自生成问题中无效题和重复变体增多而性能崩塌,作者提出 R-Quest 方法,用问题有效性与新颖性反馈来维持多轮自我训练。

新论文提出循环层叠Transformer(RLT),把每token的固定计算深度改成随序列长度增长的循环结构,在6个算法任务上对比标准Transformer取得明显优势,但信息仅来自论文摘要,尚无产品落地。