标签: 大模型

SubQ 1.1 小型

SubQ 1.1 小型

AI 公司 SubQ 发布了其新一代长上下文模型 SubQ 1.1 Small,通过自研的次二次稀疏注意力(SSA)架构,在 12M token 上下文下实现了近乎完美的检索能力,并将计算成本降低了近 1000 倍。这直接挑战了过去因注意力机制二次复杂度而受限的“长上下文推理”痛点。