一句话看懂：alphaXiv 收录的一篇论文提出 BedBench 基准，测试视觉语言模型对 3D 物体的精确推理。在“每种颜色有多少块积木”这项任务上，最好的模型准确率只有 7.2%，人类为 93.3%，暴露出模型“看得出、数不对、用不匀”的能力断层。
事件核心：发生了什么
论文介绍 BedBench，一个由程序化生成的 13 项任务组成的受控基准，测试对象是用单位立方体拼成的 3D 物体和几何场景。任务分单个判断与复合精确答案两类。在 T5“颜色分布”任务中，模型必须完整答对每种颜色的积木数量。测试覆盖 12 个开源权重模型和 4 个前沿模型，每项任务 100 个实例，开源模型跑 5 次。结果显示，表现最好的 Gemma4-31B（Thinking 模式）精确匹配率仅 7.2%，30 人的人类参照组达到 93.3%。
为什么重要
差距不只在“数得准不准”。作者用 LoRA 在 800 个 T5 样本上微调 Qwen3.5-27B，精确匹配率从 3.0% 升到 68.6%；但它回答“哪种颜色最多”时，从图像直接作答只有 35.0%，若把模型自己数出的颜色计数作为文本输入，可升至 74.2%。在 T5 答案完全正确的那部分对象上，文本条件准确率为 99.4%，直接看图仅 40.8%。这说明模型能“恢复”属性，却未必“一致地使用”属性。作者还探测了 Qwen3.5-27B：语言模型输入端可恢复的精确计数为 65.0%，而模型最终答案仅 3.0%。移除图像对照进一步显示，部分表面成功并不依赖视觉证据。对做多模态评测和 3D 应用的人来说，只报总体准确率会掩盖这类问题。
对用户/开发者/创作者的影响
如果正在搭建依赖空间推理的 AI 应用，例如积木搭建、仓储盘点、3D 场景问答，目前公开信息显示，不宜直接依赖 VLM 输出精确数量或颜色统计，更稳妥的做法是把相关计数以结构化文本显式喂给大模型，再让它做判断。对模型开发者，论文建议评测时同时看“精确正确率、与自身属性的连贯性、对图像的依赖度”，而不是单一准确率。创作者用视觉模型做素材盘点时，也要预留人工核对环节。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 BedBench 代码和数据集已在 GitHub 公开，后续是否有更多模型在该基准上的独立复现；二是微调能否从单一任务推广到组合推理，论文目前只做了任务内分布的训练；三是“先恢复属性、再以文本使用”的工程路线，是否会被主流多模态产品采纳。需要说明，以上基于摘要与论文页面信息，不等同于产品功能发布，也未涉及同行评审结论。
来源：alphaXiv
