标签: 大模型

[Local LLM] 分享个自己在用的玩具

[Local LLM] 分享个自己在用的玩具

V2EX 用户 mountainl 分享了一次低成本本地大模型硬件搭建实践,利用两块二手 RTX 3060(12GB)和 E5 平台,成功运行通义千问 Qwen3.6-35B-A3B-APEX 模型(128K 上下文,输出约 100 tps),并配合 hermes agent 实现脚本辅助编写。这件事直观展示…

SubQ 1.1 小型

SubQ 1.1 小型

AI 公司 SubQ 发布了其新一代长上下文模型 SubQ 1.1 Small,通过自研的次二次稀疏注意力(SSA)架构,在 12M token 上下文下实现了近乎完美的检索能力,并将计算成本降低了近 1000 倍。这直接挑战了过去因注意力机制二次复杂度而受限的“长上下文推理”痛点。