分类: AI 资讯

小模型得分近零无法外推?新论文用“提示缩放定律”把GSM8K预测误差降到3个百分点

小模型得分近零无法外推?新论文用“提示缩放定律”把GSM8K预测误差降到3个百分点

针对小模型在难基准上得分接近零、导致传统缩放定律无法外推的问题,一项新研究提出“提示缩放定律”,通过给基准逐步增加辅助信息来恢复可拟合趋势;在Delphi预训练阶梯上,仅用不超过10^20 FLOPs的模型,就把10^23 FLOPs模型的GSM8K准确率(25.9%)预测到3个百分点以内。