Show HN: 权重中包含哪些内容？——13种语言模型所知的内容

一句话看懂：一个开源实验项目测评了13种主流大语言模型对291位公众人物的“了解程度”，发现模型间知识库覆盖差异悬殊（置信度从90到18不等），但不同模型对人气的排序高度相似（0.65相关系数）——这意味着大模型的“知识边界”比我们想象得更随机。

事件核心：发生了什么

项目“whos-in-the-weights”对291位公众人物（涵盖政界、体育、娱乐、学术等领域）进行了一项独特的基准测试：让13种主流语言模型（包括GPT系列、Claude、Llama等）分别评估是否“认识”每位人物，置信度从0（完全不知）到100（确定认识）。测试覆盖从格鲁吉亚柔道运动员到全球巨星的人物样本。关键发现包括：模型间平均置信度差异很大（最高约90，最低约18），但对人物知名度的排序高度一致（相关系数约0.65）；职业背景几乎不影响模型认知，唯独运动员显著落后于其他群体；共享姓名会对模型识别造成轻微干扰。

为什么重要

这个实验揭示了当前大模型的隐性知识构成问题。虽然模型训练数据和推理能力广受关注，但“模型知道谁”这一基础基准长期缺乏系统测评。研究结果表明：第一，不同模型的“知识面”宽度完全不均等，这对开发者按需选型有参考价值；第二，模型对人物知名度的判断高度依赖交叉训练数据中的共现频率，而非真实世界的关注度分布——运动员的明显偏低暗示了训练数据可能存在结构性偏差；第三，这对所有依赖大模型进行人物检索、知识问答、内容生成的应用（如AI搜索、人物百科、自动客服）提出了可靠性质疑：同一个人的身份信息，在不同模型里可能天差地别。

对用户/开发者/创作者的影响

开发者需要意识到：选择一个模型不仅关乎算力和性能，还隐含了其知识库的覆盖范围。在构建人物相关的RAG系统时，不同模型对同一人物的认知置信度可能从0跳到100，这直接影响检索准确率和最终输出质量。创作者（尤其是运动员、小众领域从业者）需注意：你的维基百科页面浏览量和模型认知之间存在“松散而非确定”的关系——即使有可观的搜索量，某些模型可能依然不认识你。企业采购者在评估知识问答类AI产品时，不应只看模型在基准测试上的通用得分，更应测试自己业务领域的关键人物与实体是否能被正确识别。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

第一，该项目数据仅包含291位公众人物样本，后续是否可以扩展为更大规模、多语言的“模型知识图谱”公共基准？第二，运动员的显著认知落差是否意味着训练数据存在版权或数据获取策略的偏向？第三，随着模型持续更新，模型的“知识边界”是否会趋于收敛，还是会因各家训练数据差异而持续分化——这将直接影响AI生态的通用性与专用性选择。

来源：whos-in-the-weights.vercel.app