标签: LLM

如果LLM从未接触过五年级以上的内容,会发生什么?

如果LLM从未接触过五年级以上的内容,会发生什么?

一个名叫 LittleLearner 的研究项目,只让大模型学习美国小学 K-5 课程内容,结果发现:扩大模型规模、后训练和上下文学习都只能放大“学过的知识”,无法突破预训练数据设定的能力边界。这个实验为“大模型的能力到底是从哪来的”提供了一个难得的受控证据。