MUD能评估LLM吗?一个99美元的概念验证

一个成本仅99美元的研究项目,用上世纪80年代的MUD(多用户地牢)文字游戏环境,暴露了当前大模型评估体系的重大盲区——当LLM作为裁判参与评分时,排行榜结果可能被系统性扭曲,而现有统计指标完全无法察觉。

一个成本仅99美元的研究项目,用上世纪80年代的MUD(多用户地牢)文字游戏环境,暴露了当前大模型评估体系的重大盲区——当LLM作为裁判参与评分时,排行榜结果可能被系统性扭曲,而现有统计指标完全无法察觉。

菲尔兹奖得主陶哲轩近期在Hacker News上分享了与ChatGPT关于雅可比猜想反例的对话,展示了大型语言模型在辅助高等数学推理中的潜力与局限,引发了关于AI如何改变数学研究方式的广泛讨论。

Anthropic在2025年5月实现了470亿美元的年化营收运行率,相比2024年的90亿美元激增。Menlo Ventures合伙人Matt Murphy在TechCrunch播客中表示,这种增长速度是他25年投资生涯中从未见过的,并揭示了AI初创公司创始人必须调整的几个关键策略。

AMD向Anthropic投资最高50亿美元,Anthropic则承诺部署高达2吉瓦的AMD Instinct MI450系列GPU用于Claude模型的训练和推理。这笔交易不仅让Anthropic在算力上进一步摆脱对单一供应商的依赖,也标志着AMD在AI芯片市场对Nvidia发起最直接的一次挑战。

Cursor 推出了一个智能路由系统,能在不同任务中自动选择性价比最高的AI模型,让企业用户在不牺牲输出质量的前提下,大幅降低API调用成本。这项技术已在早期企业测试中实现30%-50%的成本节省。

Anthropic 于2025年7月22日推出了一款 Claude 连接器,让用户能够直接通过自然语言对话,查询该公司发布的“Anthropic Economic Index”数据库,了解AI在各行业和职业中的实际使用模式。这一功能将原本面向研究者、记者和政策制定者的数据工具开放给所有人使用。

微软研究院宣布,其轻量级 AI 模型系列 MagenticLite 已全面开源,包括核心底座模型、推理框架及上层应用,相关权重已在 Hugging Face 平台开放,此举极大降低了开发者在特定场景下微调与部署的门槛。

AMD宣布将向AI公司Anthropic投资最多50亿美元,并供应高达2吉瓦(GW)算力的AI GPU。这笔交易既帮助Anthropic解决大模型训练所需的庞大算力瓶颈,也标志着AMD在AI芯片市场对英伟达发起了一次重大挑战。

OpenAI 计划在佐治亚州建设名为"Project Camellia"的大型数据中心,已与 Georgia Power 签订 3.2 吉瓦电力协议,预计在 2028 至 2032 年间分阶段交付。OpenAI 承担全部电力成本,并承诺 8000 万美元用于当地社区投资,避免居民电费上涨。

在特朗普政府可能考虑禁止中国开源AI模型之际,美国本土开源AI实验室Arcee的CTO明确表示,中国开源模型并不比其他开源软件更危险,真正有效的竞争方式不是封禁,而是打造更好的开源模型。