一句话看懂：小红书联合北京大学、上海交通大学开发出 HYPIC，这是首个能在混合注意力大模型上实现位置无关缓存（PIC）的系统，将首次 token 延迟平均降低 3.25 倍。它解决了当前 RAG 和长上下文场景中，混合架构模型的缓存困境。
事件核心：发生了什么
7 月 17 日，小红书与北大、上交联合发布 HYPIC，一个为混合注意力大模型设计的服务系统。混合注意力模型（如 MiniMax-M1、Qwen3.5 等）将超过 75% 的层替换为线性注意力以降低计算成本，但线性层只暴露“每请求循环状态”，无法用于传统 PIC 的按 token 拼接与修正。HYPIC 的核心思路是将线性层与全注意力层分开处理：对线性层缓存“转移算子”（T_C），实现状态常数时间拼接；对全注意力层则用“接缝窗口”解决跨段注意力问题。测试覆盖了 Qwen3.5-35B-A3B 等四个生产级混合模型和五个工作负载，结果显示首次 token 延迟平均降低 3.25 倍，在相同 SLO 下可持续吞吐量提升 1.66 倍，任务质量仅比全重计算差 1.71 个点。
为什么重要
大模型服务正在从单轮对话转向检索增强问答、多文档摘要和长程 agent，单次请求的 prompt 可包含数十到数百个独立语义段，上下文长度达数万或数十万 token。此时，prefill 阶段成为计算成本大头，缓存未命中时的首次 token 延迟可能飙升至数秒。此前行业常用的位置无关缓存（PIC）只适用于全注意力模型，对混合注意力模型因线性层无 token 级缓存钩子而失效。HYPIC 补上了这个关键缺口，让混合模型也能享受缓存复用带来的延迟和成本优势。这对正大规模部署混合模型的服务商意味着可直接减少推理硬件投入，同时不牺牲用户体验。
对用户/开发者/创作者的影响
对使用混合模型 API 的开发者，HYPIC 能直接降低长上下文请求的响应延迟，尤其在 RAG 和多文档处理场景中，首次 token 从数秒压缩到 1 秒以内，使应用交互更流畅。对服务提供商而言，在相同硬件条件下 QPS 提升近 70%，意味着单位成本下降。内容创作者或企业用户在构建基于检索的 AI 工具时，可期望更快的首屏响应，无需为长上下文额外付费。目前该技术是否开源或内置到现有模型服务中尚不确定，但概念验证数据已显示其可行性。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
首先，小红书是否会开源 HYPIC 或将其集成到自家模型推理服务中，决定其开发者生态影响力。其次，其他混合模型厂商（如 Minimax、通义千问、Kimi）是否会快速跟进类似方案，形成缓存机制竞争。最后，HYPIC 的“转移算子”缓存方法理论上覆盖了整个线性注意力家族，实际落地的工程难度和外围维护成本仍需观察。
来源：AIbase
