小模型得分近零无法外推?新论文用“提示缩放定律”把GSM8K预测误差降到3个百分点

针对小模型在难基准上得分接近零、导致传统缩放定律无法外推的问题,一项新研究提出“提示缩放定律”,通过给基准逐步增加辅助信息来恢复可拟合趋势;在Delphi预训练阶梯上,仅用不超过10^20 FLOPs的模型,就把10^23 FLOPs模型的GSM8K准确率(25.9%)预测到3个百分点以内。

一句话看懂:针对小模型在难基准上得分接近零、导致传统缩放定律无法外推的问题,一项新研究提出“提示缩放定律”,通过给基准逐步增加辅助信息来恢复可拟合趋势;在Delphi预训练阶梯上,仅用不超过10^20 FLOPs的模型,就把10^23 FLOPs模型的GSM8K准确率(25.9%)预测到3个百分点以内。

事件核心:发生了什么

该论文于2026年11月1日发布在alphaXiv,核心做法是把同一组测试题变成难度连续的多个版本:按照一定比例截断参考解答、随机遮盖解答中的词语,或把被评测模型的输出概率与更强教师模型的输出混合。提示越强,题越容易,原本得零分的小模型也能拿到非零分,从而与模型规模一起构成可拟合的联合关系。预测时,作者把拟合结果代回“零提示”条件,得到模型在原始基准上的成绩。除Delphi预训练阶梯外,论文还在后训练模型系列上评估,称GSM8K、AIME和HLE上的中位预测误差从21个百分点降至4.3个百分点;同时,单次提示 rollout 的模型排序效果接近五次无提示 rollout。以上结论来自论文摘要,尚需更完整的实验披露。

为什么重要

大模型训练越来越依赖在小算力实验上估计大算力结果,但数学、竞赛类难基准常让小模型“全员零分”,趋势线失效。提示缩放定律把“零分平台”转换成可读信号,有望降低前沿训练的试错成本;不过它并非万能替代,截断和遮盖需要参考解答,混合 logit 还需要教师模型和共享分词器,适用条件比标准缩放定律更苛刻。

对用户/开发者/创作者的影响

对训练团队来说,这意味着可以把评测预算优先花在带提示的纵向对比上,而不是堆无提示样本;开发者若要判断两个相近模型谁更强,提示评测可能用更少样本给出更明显差距。对依赖第三方评测的用户,则需留意:提示分数不能直接当成原始基准成绩,厂商如果混用容易误导选购。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是该方法在代码、多语言等更广任务上是否仍成立;二是能否在开源工具链中低成本复现,让中小团队直接用于训练规划;三是公共榜单和模型厂商是否会采用提示评测,并清晰标注与原始分数的区别。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 32140

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注