消费级GPU跑多模态RAG:NF4量化以430MB显存换长上下文稳定

一篇 arXiv 论文摘要提出面向消费级 Turing GPU(如 T4)的多模态 RAG 系统方案,用 NF4 量化配合 Florence-2 视觉模块,把整体显存占用控制在 8.37 GB,使 12–16 GB 显卡也能跑通检索增强生成。值得关注的是它对量化路线取舍的实测结论,而不是某个新产品发布。

一篇 arXiv 论文摘要提出面向消费级 Turing GPU(如 T4)的多模态 RAG 系统方案,用 NF4 量化配合 Florence-2 视觉模块,把整体显存占用控制在 8.37 GB,使 12–16 GB 显卡也能跑通检索增强生成。值得关注的是它对量化路线取舍的实测结论,而不是某个新产品发布。

arXiv 2026年11月13日发布的一篇新论文提出 Mu-Edit 方法,针对大模型在多任务、跨领域知识更新时互相干扰的问题,给出“冲突感知排序 + 动态低秩近似”的解决思路,声称在五个功能领域和三个基座模型上优于现有基线。目前公开信息仅为论文摘要,尚未核验全文实验细节。

arXiv 上一篇新论文提出,AI 代理在自我纠错时若过度服从“我的推理有问题”这类自我评估,反而可能削弱分辨正确与错误推理的能力,挑战了“自我评估与结论一致就等于纠错更好”的常见假设。

一篇 arXiv 新论文提出,只在教师模型概率最高的极小部分词表上做蒸馏,在 Qwen3 4B→1.7B 等模型对上,保留 0.01% 词表也未观察到 MMLU-Pro 退化。若结论成立,大模型推理蒸馏的训练成本与显存压力可能明显下降。

一篇 arXiv 新论文梳理了人类—智能体系统中理解他人、协同决策与关系维护的开放挑战,主张把人际交互当作持续的不确定性决策问题来设计,而非一次性功能。

一篇 arXiv 新论文提出 AutoAssumption,把算法改写为带显式假设的 Lean 证明图,再让 LLM 通过放松单个假设来搜索新算法,在 KV-cache 淘汰和权重剪枝任务上改进了已发表方法。

arXiv 上的一篇新论文提出 GenPFN,借助冻结权重的 TabPFN 分类器生成候选工程设计,再用约束和目标函数筛选,从而扩增稀缺的仿真与实验数据。摘要称,在指定对比条件下,数据增强使 AutoGluon 验证均方误差降低 62.1%,但相关实验尚未经全文核验。

一篇 arXiv 新论文评估了“证明步骤验证”流水线:让 LLM 把解题答案重写成带类型的步骤并逐链认证,只在有把握时作答。它在难任务上显著提高答案精度,但覆盖面大幅下降,在接近满分的任务上收益很有限。

arXiv 2026年11月13日发布的一篇新论文提出,不再把VLM等预训练感知模型的预测简化为单一“最佳猜测”,而是利用模型输出层已有的概率分布,构建满足置信阈值的“最小信念集”,让下游决策更稳健。

一篇新挂上 arXiv 的论文指出,Arena 式匿名两两对比、再用 Bradley-Terry 模型聚合投票的排行榜,可能被策略性投票、策略性提示和策略性提名三种手段操纵;论文摘要称,在公开榜单数据上单种攻击可抬升约 15-20 名,组合使用最高约 45 名。