标签: LLM

如果LLM从未接触过五年级以上的内容,会发生什么?

如果LLM从未接触过五年级以上的内容,会发生什么?

一个名叫 LittleLearner 的研究项目,只让大模型学习美国小学 K-5 课程内容,结果发现:扩大模型规模、后训练和上下文学习都只能放大“学过的知识”,无法突破预训练数据设定的能力边界。这个实验为“大模型的能力到底是从哪来的”提供了一个难得的受控证据。

Fields Medalist Timothy Gowers says most famous mathematics problems solved by LLMs so far have almost all been with counterexamples rather than proofs (Timothy Gowers/Gowers’s Weblog)

Fields Medalist Timothy Gowers says most famous mathematics problems solved by LLMs so far have almost all been with counterexamples rather than proofs (Timothy Gowers/Gowers's Weblog)

菲尔兹奖得主 Timothy Gowers 在其博客中观察到一个关键现象——目前大语言模型(LLM)解决的著名数学问题,几乎都是通过构造反例完成的,而非提供严格证明。这个判断为评估 AI 在数学推理中的真实能力提供了一个重要参照。

第二期 小路和你读AI论文。本期五篇。 如果时间不多,建议读第四篇最有意思 也最有启发: 来自蚂蚁集团的《借助围棋死活题探测大语言模型推理中的搜索效率》 今天除了”Agent 技能/记忆持久化安全隐患”这条线之外,还有一类工作挺有意思:用大规模受控实验去戳破业界的一些直觉判断,比如”LLM 能不能取代 embedding 模型””CoT 越长是不是推理越好”。 1. The Embedder’s Dilemma: LLMs Are B…

第二期 小路和你读AI论文。本期五篇。 如果时间不多,建议读第四篇最有意思 也最有启发: 来自蚂蚁集团的《借助围棋死活题探测大语言模型推理中的搜索效率》 今天除了"Agent 技能/记忆持久化安全隐患"这条线之外,还有一类工作挺有意思:用大规模受控实验去戳破业界的一些直觉判断,比如"LLM 能不能取代 embedding 模型""CoT 越长是不是推理越好"。 1. The Embedder's Dilemma: LLMs Are B…

本期五篇论文集中挑战了两个业内直觉:LLM 并不天然适合替代 embedding 模型;CoT 越长也不代表推理更好。其中蚂蚁集团的围棋死活题测评(TsuGO)最值得一读,它给“推理能力评估”提供了一个新维度。